IT自动化运维平台设计与实现
这是一篇关于自动化运维,Django框架,Python语言,B/S架构,MVT模式的论文, 主要内容为随着信息技术的广泛应用,特别是互联网和大数据技术的快速发展,各行各业对IT服务的需求越来越旺盛,使得服务器、应用系统、数据库等的数量和复杂度不断增加,这使得IT部门运维的难度和运维成本不断增加。然而,低效的传统运维模式已经不能满足客户的需求,因此向自动化运维模型转型势在必行。本文基于数据中心对IT运维服务的实际需求,设计并开发了一套IT自动化运维平台,旨在改变人工运维模式,提供运维效率,节约运维成本。通过IT自动化运维管理平台建设,对运维管理流程进行了规范化和标准化,为自动化运维打下基础。在本文中,对建设单位数据中心的运维需求进行了充分的调研和分析,得出了可行性分析结论,开发IT自动化运维平台具有极高的可行性;本平台采用MVT模式进行开发,使得显示模块与业务模块分离,降低了程序的开发难度,提高了系统的可维护性和扩展性。整个平台主要包括系统管理、服务台、事件管理、问题管理、变更管理、工单管理、知识库管理、资产管理等功能模块。系统管理中主要实现对用户、部门、角色、权限和字典等基础信息的管理和维护功能;知识库管理和资产管理分别针对维护过程中归纳总结的知识和数据中心的软硬件资源进行管理;服务台、事件管理、问题管理、变更管理和工单管理主要实现IT自动化运维过程中的标准化业务流程。本文设计和开发的自动化运维平台通过功能测试进行了严格的测试,符合数据中心对自动化运维管理的业务需要,在一定程度上降低了运维成本,提高了运维效率。
基于VMware自动化运维平台的设计与实现
这是一篇关于VMware,自动化运维,Ajax,JavaScript的论文, 主要内容为随着国家不断大力推广科技事业,信息化企业不仅仅重视自动产品的研发,同样开始重视产品后期的运行维护操作,自动化运维的概念在当前社会进步的过程中诞生了。自动化运维就是利用运维工具来代替传统的运维人员手工操作的模式,更加智能高效的进行日常维护工作。自动化运维工具可以是运维人员从简单而重复的工作中解脱出来,专注于故障处理和自身能力的提升。同时,可以使用的用户量,提升企业的工作效率,降低成本。在当前的互联网时代中,Web前端开发技术越来越重要,越来越多的面向前端开发的架构和技术被提了出来,目前最流行要属于富客户端技术。富客户端技术将部分B/S架构中位于服务器端的逻辑转移到浏览器端来执行,从而解决了B/S架构的“瘦”客户端特性,提升了系统开发架构的性能。富客户端开发中使用最流行的就是Java Script技术,Java Script通过在前端界面语言中嵌入代码段的方式调用后台的逻辑处理,提升软件开发效率,解决了传统B/S结构存在的瓶颈。因此选择Java Script和Ajax技术作为自动化运维平台的前端解决方案。选择B/S架构,通过前后端两个方面实现系统功能,其中前端技术使用ASP.NET、Java Script、CSS、Ajax,后端技术使用C#和SQLServer2008数据库。C#语言功能十分强大,用来实现底层逻辑。使用SQLServer2008作为本地数据库存储,通过调用Webservice实现数据的交互。系统开发架构选择类似MVC的层次架构,架构中分离出来模块层、显示层、控制层,其中还增加了代理层提高系统的安全性。自动化运维平台的使用者包括超级管理员、普通管理员、系统管理员、业务管理员、应用管理员、网络管理员和软件开发人员。本文以某中型企业的数据中心需求分析样本,构建基于流行虚拟化软件VMware的自动化运维平台。用户通过登录客户端,进入到自动化运维平台,平台通过中间件与服务器端相互通信。通过调用VMware SDK提供的API,将VMware客户端v Sphere所提供的功能转换到自动化运维上实现,通过对功能的重新整合,简化控制流程,形成适合企业所有IT管理人员使用的自动化运维平台。自动化运维平台与虚拟化软件的结合,形成统一的解决方案,在虚拟化基础上进一步提升方案的全方面性能。自动化运维最重要的功能就是根据企业的需求自定义运维功能模块,灵活运用虚拟化技术和运维技术,提升运维人员的工作效率。项目开发结束后规划出未来的研究方向,继续深入挖掘Java Script技术,未来在前端技术的使用上作进一步的研究。随着技术的不断发展,未来不仅仅要满足内网使用,同样还要使得外网用户可以使用,同时也要想移动终端方向进行研究,不仅仅局限于现在PC端。
云平台批处理作业数据监控系统的设计与实现
这是一篇关于自动化运维,K-shape算法,DBN神经网络模型,异常值检测,监控系统的论文, 主要内容为近年来,云计算和云平台的应用更加普遍,很多公司也搭建了自己的私有云计算平台,以满足公司内部各个部门的计算需求。大型互联网企业每天需要处理的业务相关的数据量非常大,为了保证用户体验和提高企业业务处理效率,会将实时性要求不高而业务数据量大的业务集中在夜间或者日终某一个时间点进行定时批量处理。批处理作业提交的作业量巨大且一般都难以发现可描述的作业规律,导致运维人员难以准确预估每个作业在各计算节点执行所需的时间。因此,急需建立科学有效的实时数据监控系统对批处理作业在各节点的执行时间进行检测,并及时发出偏离预警,实现自动化运维。本文首先调研了自动化运维系统相关技术和时间序列异常值检测方法,提出自动分类-异常值检测的运维方案。然后介绍相关技术理论,详细介绍了K-shape聚类算法和深度置信网络(Deep Belief Networks,DBN)模型,并基于K-shape算法与DBN神经网络模型分析了批处理作业之间的关系,建立了批处理作业分类模型,通过实验验证了模型的有效性,最后将建立的模型应用于作业时序数据异常值检测,并基于以上研究结果开发了云平台批处理作业数据监控系统。本文的主要研究内容如下:(1)提出自动分类-异常值检测的整体框架:通过分析目前运维监控系统中存在的不足,提出先分类后进行异常值检测的整体方案。通过聚类分析划分作业类型,为不同类别的作业设计特定的异常值检测算法。最后,训练满足线上实时分类的模型,结合设计的异常值检测算法实现整体方案。(2)进行K-shape聚类分析:对数据集中的作业时序数据特点进行详细分析,最终使用K-shape聚类算法对批处理作业时序数据进行聚类分析,通过Elbow法则确定最佳聚类数K为3,最终将批处理作业数据中的作业分为3类,并自动添加类别标签。(3)训练DBN神经网络分类模型:根据批处理作业业务特点,设计本文DBN神经网络的结构,将数据分为训练集和验证集,在训练集上训练改进后的DBN神经网络分类模型。同时,选用了BPNN反馈神经网络、RF随机森林、SVM支持向量机作为对照组。结果显示,DBN模型在验证集上的准确率达到了95.67%,远高于其他三类模型,模型的延迟为1.8μs,可满足快速检测的要求。(4)设计异常值检测算法:根据K-shape算法的聚类结果,得到三类批处理作业的拟合时间序列数据,将其作为异常值检测的标准,并提出相应的异常值检测方法。在实际运维过程中,异常值检测的流程为:首先获得时间序列数据并进行预处理,然后通过DBN神经网络模型获得数据所属类别,最后将分类结果输入异常值检测模型,根据不同作业类型选用不同异常检测算法。(5)系统分析与设计:基于上述构建的DBN神经网络分类模型和异常值检测模型,对数据监控系统的功能性需求和非功能性需求进行分析,给出数据监控系统的具体功能设计,设计并实现批处理作业数据监控系统。主要分为四个部分,分别是首页展示、运维人员管理界面作业运行状态分类查询和历史告警异常值查询。本文提出的方法和设计的系统在真实作业时序数据集上进行了验证,实验结果表明提出的基于K-shape算法和DBN神经网络模型的批处理作业分类方法具有很高的准确率,并基于分类结果实现了时序数据异常值的准确检测,设计的系统具有在线检测异常值的可行性。以上研究为时间序列数据异常值检测方法选择和检测系统设计提供借鉴和参考。
基于云原生的拓扑服务系统的设计与实现
这是一篇关于云原生,自动化运维,拓扑服务,微服务业务,监控,Prometheus的论文, 主要内容为随着信息化覆盖率的提高,面对巨大的IT设施,自动化运维逐渐被提上日程,自动化运维起初是面向基础资源的运维模式。在云计算时代,企业已不满足于只关心IT资源的运行状态,更关心业务系统的健康状态。本文的拓扑服务系统是自动化运维时代的产物,帮助运维工作人员定位、发现及解决故障问题。本文一方面是面向网络设备资源的运维管理,在自动化监测内网拓扑结构的基础上,设计监测网络节点和链路,帮助网络管理人员快速地知晓网络故障。另一方面是面向云业务运维,以可视化的方式呈现微服务业务流向,并计算业务内资源的故障影响范围,达到监控业务的目的。本文围绕网络设备拓扑服务和微服务业务拓扑服务所做的工作如下。第一章对本文的研究背景与意义、国内外发展现状等进行了分析总结。第二章介绍本文中使用到的技术理论,如部署技术、资源监控方式等。第三章首先基于市场对高效运维的迫切需求,针对拓扑服务系统的需求进行分析;然后设计系统架构,划分功能模块,根据模块划分结果细分微服务;接着,分析设计各个模块,包括资源全方位的告警指标内容、设计多维度阈值模板以满足用户多角度告警信息需求、基于LLDP协议发现网络设备物理连接关系以生成网络设备拓扑方案、基于Weave Scope发现微服务业务及其调用关系的方案设计、将权重计算方法与业务监控结合以建立业务监控模型。第四章是系统的详细设计与实现部分,包括Portal门户服务模块、数据采集服务模块、监控配置服务模块、监控服务模块、告警服务模块、业务服务模块和拓扑服务模块。在数据采集服务模块中,研究资源的监控方式,改变以往需要在资源上安装代理客户端来监控资源的方式,并使用基于Prometheus和Alertmanager的监控告警框架解决企业级的资源指标管理工作;在业务服务模块中,提出一种新的业务监控模型,将运维人员从海量的监控告警数据中解放出来;在拓扑服务模块中,基于LLDP标准化协议,实现网络设备拓扑结构可视化,以解决异构组网中的设备兼容性问题,使用Weave Scope进行微服务业务及其关系发现,并提出使用基于TCP流量的方式来补充业务链路的发现。第五章基于云原生容器化封装和自动化管理特征使用Docker容器技术,封装各个微服务,采用Kubernetes部署管理各容器,在公司平台上部署使用,减轻运维人员的工作量,提高运维人员的工作效率,证明本文网络设备拓扑服务和微服务业务拓扑服务研究内容的可行性及实用性。
互联网医院系统的自动化运维技术关键技术研究
这是一篇关于自动化运维,微服务,分布式系统的论文, 主要内容为随着互联网时代的高速发展,出于系统稳定和开发效率的考虑,越来越多的公司选择使用微服务架构,但是开发效率提升的同时也带来了运维难度的提高。微服务架构将原来的单体架构拆分到了不同的服务中去,各个模块之间的日志信息不再连续,在故障发生时也往往收集不到足够的现场信息,故障定位变得愈发复杂,对于系统性能瓶颈的定位也由于涉及到多个服务间的相互配合而变得困难。在项目已经稳定运行之后,再通过引入依赖的方式更改项目也会带来高昂的开发和运维成本。针对上述问题,本文以互联网医院系统作为研究案例,提出了一个自动化运维系统,可以在不侵入项目源代码的情况下动态增强字节码,实现关键信息收集、调用链路构建、日志可视化分析等功能。本文使用的主要技术是JavaAgent和Javassist动态字节码技术,通过这两种技术能够实现对字节码的动态增强,在虚拟机加载字节码文件时置入增强逻辑。通过此技术可以使用代码非侵入的方式给被增强系统增加各类关键日志信息采集和链路追踪功能,是本文最大的创新点。本文还对Spring、MyBatis、SpringCloud等框架进行了源码流程分析,找出框架中的关键代码节点,结合动态字节码技术对这些框架进行功能增强,实现了项目运行时的信息收集。本文接着对链路追踪系统进行设计,将链路追踪系统和上述信息收集功能进行结合,收集到完整的链路现场信息,并构建出日志可视化系统,将收集的信息在页面上进行分析展示。最后通过模块测试以及在开发中抽取实际问题场景进行系统测试,通过实验验证了本自动化运维系统可以收集到目标项目在进行请求处理时的各种关键信息,如果某一个微服务出现了故障,可以迅速定位到所在链路,关联到处理该请求的所有微服务在各框架关键节点中的运行信息,迅速定位出异常目标;并且在某一个请求响应过慢时能够分析出链路上各个节点的时间损耗,找到系统的性能瓶颈。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设港湾 ，原文地址：https://m.bishedaima.com/lunwen/46550.html
