互联网医院系统的自动化运维技术关键技术研究

这是一篇关于自动化运维,微服务,分布式系统的论文, 主要内容为随着互联网时代的高速发展,出于系统稳定和开发效率的考虑,越来越多的公司选择使用微服务架构,但是开发效率提升的同时也带来了运维难度的提高。微服务架构将原来的单体架构拆分到了不同的服务中去,各个模块之间的日志信息不再连续,在故障发生时也往往收集不到足够的现场信息,故障定位变得愈发复杂,对于系统性能瓶颈的定位也由于涉及到多个服务间的相互配合而变得困难。在项目已经稳定运行之后,再通过引入依赖的方式更改项目也会带来高昂的开发和运维成本。针对上述问题,本文以互联网医院系统作为研究案例,提出了一个自动化运维系统,可以在不侵入项目源代码的情况下动态增强字节码,实现关键信息收集、调用链路构建、日志可视化分析等功能。本文使用的主要技术是JavaAgent和Javassist动态字节码技术,通过这两种技术能够实现对字节码的动态增强,在虚拟机加载字节码文件时置入增强逻辑。通过此技术可以使用代码非侵入的方式给被增强系统增加各类关键日志信息采集和链路追踪功能,是本文最大的创新点。本文还对Spring、MyBatis、SpringCloud等框架进行了源码流程分析,找出框架中的关键代码节点,结合动态字节码技术对这些框架进行功能增强,实现了项目运行时的信息收集。本文接着对链路追踪系统进行设计,将链路追踪系统和上述信息收集功能进行结合,收集到完整的链路现场信息,并构建出日志可视化系统,将收集的信息在页面上进行分析展示。最后通过模块测试以及在开发中抽取实际问题场景进行系统测试,通过实验验证了本自动化运维系统可以收集到目标项目在进行请求处理时的各种关键信息,如果某一个微服务出现了故障,可以迅速定位到所在链路,关联到处理该请求的所有微服务在各框架关键节点中的运行信息,迅速定位出异常目标;并且在某一个请求响应过慢时能够分析出链路上各个节点的时间损耗,找到系统的性能瓶颈。

基于OpenStack的PaaS服务中间件研究与实现

这是一篇关于云计算,平台即服务,OpenStack,自动化运维的论文, 主要内容为近年来,云计算的概念逐渐进入大众的视野,随着计算机算力的不断增强,云计算技术也进入了高速的发展期。因为云计算具有的弹性与可靠性等特征,越来越多的机构、企业以及个人选择将应用与数据从本地数据中心迁移到“云”端。平台即服务(Platform as aService,PaaS)属于云服务的一种,提供了应用的开发环境、部署环境与测试环境,通过PaaS平台提供的资源,开发者可以更加高效地完成应用的持续集成、持续交付与持续部署,而无需关注底层云基础设施的管理,在提高生产力的同时,减少了管理成本。目前,对于PaaS服务的实施方案主要有两种,一种是基于容器和微服务的PaaS方案,另一种是依托于云平台提供的IaaS资源,基于自动化部署的PaaS方案。在本文中,研究了基于自动化部署的PaaS方案,设计并实现了一款基于OpenStack平台的PaaS服务中间件,依托于OpenStack平台,结合OpenStack平台的编排组件Heat与开源自动化运维工具Ansible,通过读取以YAML语言编写的模板文件,自动化地完成PaaS服务的部署与运维操作,提供了PaaS实例从创建至销毁的完整生命周期管理。本文主要从以下几个方面展开工作:(1)对OpenStack平台租户间的虚拟网络隔离机制进行研究和分析,提出了一种基于虚拟网络穿透的PaaS服务自动化部署方案,能够在不破坏OpenStack网络隔离的基础上,通过切换Linux network namespace,实现从OpenStack控制节点对租户网络环境的访问,从而在租户网络环境下完成PaaS服务的创建。(2)对PaaS服务中间件的功能模块与数据库结构进行设计,将整体功能划分为模板管理、编排管理、自动化运维、PaaS实例管理、运维日志管理和定时任务6大模块,对各个模块的核心功能实现展开了详细的介绍。为了能够对OpenStack的源代码进行复用,整个PaaS服务中间件采用Python 2.7版本实现。(3)在多节点OpenStack环境下对PaaS服务中间件的功能和性能展开验证与测试,实验结果表明,本文研究实现的基于OpenStack的PaaS服务中间件能够对PaaS服务的创建与管理提供支持,具有较高的可用性。

互联网医院系统的自动化运维技术关键技术研究

这是一篇关于自动化运维,微服务,分布式系统的论文, 主要内容为随着互联网时代的高速发展,出于系统稳定和开发效率的考虑,越来越多的公司选择使用微服务架构,但是开发效率提升的同时也带来了运维难度的提高。微服务架构将原来的单体架构拆分到了不同的服务中去,各个模块之间的日志信息不再连续,在故障发生时也往往收集不到足够的现场信息,故障定位变得愈发复杂,对于系统性能瓶颈的定位也由于涉及到多个服务间的相互配合而变得困难。在项目已经稳定运行之后,再通过引入依赖的方式更改项目也会带来高昂的开发和运维成本。针对上述问题,本文以互联网医院系统作为研究案例,提出了一个自动化运维系统,可以在不侵入项目源代码的情况下动态增强字节码,实现关键信息收集、调用链路构建、日志可视化分析等功能。本文使用的主要技术是JavaAgent和Javassist动态字节码技术,通过这两种技术能够实现对字节码的动态增强,在虚拟机加载字节码文件时置入增强逻辑。通过此技术可以使用代码非侵入的方式给被增强系统增加各类关键日志信息采集和链路追踪功能,是本文最大的创新点。本文还对Spring、MyBatis、SpringCloud等框架进行了源码流程分析,找出框架中的关键代码节点,结合动态字节码技术对这些框架进行功能增强,实现了项目运行时的信息收集。本文接着对链路追踪系统进行设计,将链路追踪系统和上述信息收集功能进行结合,收集到完整的链路现场信息,并构建出日志可视化系统,将收集的信息在页面上进行分析展示。最后通过模块测试以及在开发中抽取实际问题场景进行系统测试,通过实验验证了本自动化运维系统可以收集到目标项目在进行请求处理时的各种关键信息,如果某一个微服务出现了故障,可以迅速定位到所在链路,关联到处理该请求的所有微服务在各框架关键节点中的运行信息,迅速定位出异常目标;并且在某一个请求响应过慢时能够分析出链路上各个节点的时间损耗,找到系统的性能瓶颈。

电力信息系统自动化运维平台的研究与设计

这是一篇关于电力信息系统,自动化运维,信息系统状态监测的论文, 主要内容为随着国家电网有限公司信息化进程的不断推进,以人工运维为主题的传统运维方式已无法满足日益严格的信息系统运行稳定性需求。目前公司信息系统运维人员与所运维的设备数量比例约为1:159,运行人员压力沉重,大部分运维工作仍然采用人工方式,同时安全规章制度、运维厂商评价、运维文档编写等非信息运维工作同样占据了运维人员大量的工作时间,导致信息运维效率、准确率均有待提升。这些现象都反映出,现有的信息系统运维模式已与当下飞速发展的电力信息化进程不相匹配。为有效增强国网福建省电力有限公司的综合竞争能力,公司开展自动化运维体系研究,其目的是为了实现以业务为中心的服务理念,加强信息化支撑手段建设,提升工作效率,提高管理效能,满足日益融合和高度灵活的业务需求的能力,同时建立规范化的信息管理体系,持续提高信息运维的准确性、及时性、稳定性的能力,提升客户感知和满意度。本文以电力信息系统自动化运维平台为研究对象,深入调研业界自动化运维平台发展现状,明确以OASR模型为参考,构建包含运维Paa S能力支撑组件和场景化工具集的自动化运维平台,提供统一管理、集成调度、流程编排引擎、服务托管等能力,以标准开发框架服务的方式,用户可自行构建应用,并统一运行在平台上,用户构建应用可充分利用平台服务集成的能力和编排的能力,从而满足丰富的运维自动化场景需求。在研究过程中,重点开展了信息系统自动化状态监测算法的研究,介绍了由基于AHP的分层方案及其指标权重的设定构建的状态监测指标体系,提出基于量化评分及聚类算法的两种状态监测算法的具体实现过程,并结合公司信息系统实际运行数据验证了算法的有效性。通过对自动化运维平台的研究与设计,将推进公司运维自动化水平的不断提升,推进信息运维体系革新,最终实现运维操作向自动化、智能化的不断迈进,为电力业务的发展提供坚强的信息专业支撑。

云平台批处理作业数据监控系统的设计与实现

这是一篇关于自动化运维,K-shape算法,DBN神经网络模型,异常值检测,监控系统的论文, 主要内容为近年来,云计算和云平台的应用更加普遍,很多公司也搭建了自己的私有云计算平台,以满足公司内部各个部门的计算需求。大型互联网企业每天需要处理的业务相关的数据量非常大,为了保证用户体验和提高企业业务处理效率,会将实时性要求不高而业务数据量大的业务集中在夜间或者日终某一个时间点进行定时批量处理。批处理作业提交的作业量巨大且一般都难以发现可描述的作业规律,导致运维人员难以准确预估每个作业在各计算节点执行所需的时间。因此,急需建立科学有效的实时数据监控系统对批处理作业在各节点的执行时间进行检测,并及时发出偏离预警,实现自动化运维。本文首先调研了自动化运维系统相关技术和时间序列异常值检测方法,提出自动分类-异常值检测的运维方案。然后介绍相关技术理论,详细介绍了K-shape聚类算法和深度置信网络(Deep Belief Networks,DBN)模型,并基于K-shape算法与DBN神经网络模型分析了批处理作业之间的关系,建立了批处理作业分类模型,通过实验验证了模型的有效性,最后将建立的模型应用于作业时序数据异常值检测,并基于以上研究结果开发了云平台批处理作业数据监控系统。本文的主要研究内容如下:(1)提出自动分类-异常值检测的整体框架:通过分析目前运维监控系统中存在的不足,提出先分类后进行异常值检测的整体方案。通过聚类分析划分作业类型,为不同类别的作业设计特定的异常值检测算法。最后,训练满足线上实时分类的模型,结合设计的异常值检测算法实现整体方案。(2)进行K-shape聚类分析:对数据集中的作业时序数据特点进行详细分析,最终使用K-shape聚类算法对批处理作业时序数据进行聚类分析,通过Elbow法则确定最佳聚类数K为3,最终将批处理作业数据中的作业分为3类,并自动添加类别标签。(3)训练DBN神经网络分类模型:根据批处理作业业务特点,设计本文DBN神经网络的结构,将数据分为训练集和验证集,在训练集上训练改进后的DBN神经网络分类模型。同时,选用了BPNN反馈神经网络、RF随机森林、SVM支持向量机作为对照组。结果显示,DBN模型在验证集上的准确率达到了95.67%,远高于其他三类模型,模型的延迟为1.8μs,可满足快速检测的要求。(4)设计异常值检测算法:根据K-shape算法的聚类结果,得到三类批处理作业的拟合时间序列数据,将其作为异常值检测的标准,并提出相应的异常值检测方法。在实际运维过程中,异常值检测的流程为:首先获得时间序列数据并进行预处理,然后通过DBN神经网络模型获得数据所属类别,最后将分类结果输入异常值检测模型,根据不同作业类型选用不同异常检测算法。(5)系统分析与设计:基于上述构建的DBN神经网络分类模型和异常值检测模型,对数据监控系统的功能性需求和非功能性需求进行分析,给出数据监控系统的具体功能设计,设计并实现批处理作业数据监控系统。主要分为四个部分,分别是首页展示、运维人员管理界面作业运行状态分类查询和历史告警异常值查询。本文提出的方法和设计的系统在真实作业时序数据集上进行了验证,实验结果表明提出的基于K-shape算法和DBN神经网络模型的批处理作业分类方法具有很高的准确率,并基于分类结果实现了时序数据异常值的准确检测,设计的系统具有在线检测异常值的可行性。以上研究为时间序列数据异常值检测方法选择和检测系统设计提供借鉴和参考。

基于云架构的存储资源管控技术研究

这是一篇关于Hadoop,Puppet,自动化运维,资源管控的论文, 主要内容为随着云计算的大力发展,云存储作为其基础设施层面,起着至关重要的作用。在对云存储的研究过程中,Hadoop作为一个数据存储与分析框架,其稳定性和高效性,广泛地吸引着工业界和学术界的关注。它为企业应用提供了更强的计算力、更广泛的数据分布、更高的稳定性以及更灵活的可靠性,在搜索引擎、广告优化、机器学习等方面被越来越多的个人和企业运用。 作为一个开源的分布式存储与计算框架,Hadoop以其强大的功能,无需付费使用,吸引了大批的人员来进行研究。目前针对Hadoop的操作,主要是在Linux上通过终端命令行来进行管理和维护,缺少相应的工具,在操作过程中稍有差池,就会导致集群运行出错,而原生的Hadoop提供了基本的分布式存储方式,对于当前千差万别的硬件存储设备,它无法达到最优的性能。目前有很多组织根据自己的集群状况进行优化,如Cloudera的CHP,hortonworks的HDP等。 本文则是针对上述问题,设计并实现了基于云架构的存储资源管控系统。系统采用了Puppet作为配置同步的底层架构,Hadoop作为分布式数据存储和处理的云架构,通过SpringMvC框架开发了一套针对该架构的集群部署、监控、管理和优化系统,提供了一键式集群搭建,集群节点动态增加与移除和集群副本调度优化。本文的主要贡献如下： 1.提出了基于云架构的一键式部署框架 针对Hadoop搭建过程中的特点,本文提出了一键式部署框架,该框架是主从模式,通过对其整体架构设计以及服务端和及客户端的设计进行描述,从技术层面证明了集群的一键式部署的可行性。 2.提出了节点动态管理模型 集群节点理论上是可以无限增加的,如何对这些节点进行统一管理是一个难点。本文提出了一种节点动态管理模型,该模型底层采用了观察者模式,对节点的行为进行监听,在节点发生变化时,能够进行自动更新,减少了运维人员的操作。 3.集群优化调度方法 分布式存储的研究中,如何高效地利用存储空间是个热点问题。存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠。本文提出一种集群优化调度模型：第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间；第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用。 存储资源管控系统应用于科技部视频评审项目,简化了用户手动搭建Hadoop集群的步骤,摒弃了复杂的命令行管理集群的方式,借助于本系统,能够极大地提高用户搭建集群的可操作性与可用性。简洁的操作界面,便捷的操作方式,在集群的初期搭建与后期管理过程都能够起到至关重要的作用。

互联网医院系统的自动化运维技术关键技术研究

这是一篇关于自动化运维,微服务,分布式系统的论文, 主要内容为随着互联网时代的高速发展,出于系统稳定和开发效率的考虑,越来越多的公司选择使用微服务架构,但是开发效率提升的同时也带来了运维难度的提高。微服务架构将原来的单体架构拆分到了不同的服务中去,各个模块之间的日志信息不再连续,在故障发生时也往往收集不到足够的现场信息,故障定位变得愈发复杂,对于系统性能瓶颈的定位也由于涉及到多个服务间的相互配合而变得困难。在项目已经稳定运行之后,再通过引入依赖的方式更改项目也会带来高昂的开发和运维成本。针对上述问题,本文以互联网医院系统作为研究案例,提出了一个自动化运维系统,可以在不侵入项目源代码的情况下动态增强字节码,实现关键信息收集、调用链路构建、日志可视化分析等功能。本文使用的主要技术是JavaAgent和Javassist动态字节码技术,通过这两种技术能够实现对字节码的动态增强,在虚拟机加载字节码文件时置入增强逻辑。通过此技术可以使用代码非侵入的方式给被增强系统增加各类关键日志信息采集和链路追踪功能,是本文最大的创新点。本文还对Spring、MyBatis、SpringCloud等框架进行了源码流程分析,找出框架中的关键代码节点,结合动态字节码技术对这些框架进行功能增强,实现了项目运行时的信息收集。本文接着对链路追踪系统进行设计,将链路追踪系统和上述信息收集功能进行结合,收集到完整的链路现场信息,并构建出日志可视化系统,将收集的信息在页面上进行分析展示。最后通过模块测试以及在开发中抽取实际问题场景进行系统测试,通过实验验证了本自动化运维系统可以收集到目标项目在进行请求处理时的各种关键信息,如果某一个微服务出现了故障,可以迅速定位到所在链路,关联到处理该请求的所有微服务在各框架关键节点中的运行信息,迅速定位出异常目标;并且在某一个请求响应过慢时能够分析出链路上各个节点的时间损耗,找到系统的性能瓶颈。

基于OpenStack的PaaS服务中间件研究与实现

这是一篇关于云计算,平台即服务,OpenStack,自动化运维的论文, 主要内容为近年来,云计算的概念逐渐进入大众的视野,随着计算机算力的不断增强,云计算技术也进入了高速的发展期。因为云计算具有的弹性与可靠性等特征,越来越多的机构、企业以及个人选择将应用与数据从本地数据中心迁移到“云”端。平台即服务(Platform as aService,PaaS)属于云服务的一种,提供了应用的开发环境、部署环境与测试环境,通过PaaS平台提供的资源,开发者可以更加高效地完成应用的持续集成、持续交付与持续部署,而无需关注底层云基础设施的管理,在提高生产力的同时,减少了管理成本。目前,对于PaaS服务的实施方案主要有两种,一种是基于容器和微服务的PaaS方案,另一种是依托于云平台提供的IaaS资源,基于自动化部署的PaaS方案。在本文中,研究了基于自动化部署的PaaS方案,设计并实现了一款基于OpenStack平台的PaaS服务中间件,依托于OpenStack平台,结合OpenStack平台的编排组件Heat与开源自动化运维工具Ansible,通过读取以YAML语言编写的模板文件,自动化地完成PaaS服务的部署与运维操作,提供了PaaS实例从创建至销毁的完整生命周期管理。本文主要从以下几个方面展开工作:(1)对OpenStack平台租户间的虚拟网络隔离机制进行研究和分析,提出了一种基于虚拟网络穿透的PaaS服务自动化部署方案,能够在不破坏OpenStack网络隔离的基础上,通过切换Linux network namespace,实现从OpenStack控制节点对租户网络环境的访问,从而在租户网络环境下完成PaaS服务的创建。(2)对PaaS服务中间件的功能模块与数据库结构进行设计,将整体功能划分为模板管理、编排管理、自动化运维、PaaS实例管理、运维日志管理和定时任务6大模块,对各个模块的核心功能实现展开了详细的介绍。为了能够对OpenStack的源代码进行复用,整个PaaS服务中间件采用Python 2.7版本实现。(3)在多节点OpenStack环境下对PaaS服务中间件的功能和性能展开验证与测试,实验结果表明,本文研究实现的基于OpenStack的PaaS服务中间件能够对PaaS服务的创建与管理提供支持,具有较高的可用性。

基于OpenStack的PaaS服务中间件研究与实现

这是一篇关于云计算,平台即服务,OpenStack,自动化运维的论文, 主要内容为近年来,云计算的概念逐渐进入大众的视野,随着计算机算力的不断增强,云计算技术也进入了高速的发展期。因为云计算具有的弹性与可靠性等特征,越来越多的机构、企业以及个人选择将应用与数据从本地数据中心迁移到“云”端。平台即服务(Platform as aService,PaaS)属于云服务的一种,提供了应用的开发环境、部署环境与测试环境,通过PaaS平台提供的资源,开发者可以更加高效地完成应用的持续集成、持续交付与持续部署,而无需关注底层云基础设施的管理,在提高生产力的同时,减少了管理成本。目前,对于PaaS服务的实施方案主要有两种,一种是基于容器和微服务的PaaS方案,另一种是依托于云平台提供的IaaS资源,基于自动化部署的PaaS方案。在本文中,研究了基于自动化部署的PaaS方案,设计并实现了一款基于OpenStack平台的PaaS服务中间件,依托于OpenStack平台,结合OpenStack平台的编排组件Heat与开源自动化运维工具Ansible,通过读取以YAML语言编写的模板文件,自动化地完成PaaS服务的部署与运维操作,提供了PaaS实例从创建至销毁的完整生命周期管理。本文主要从以下几个方面展开工作:(1)对OpenStack平台租户间的虚拟网络隔离机制进行研究和分析,提出了一种基于虚拟网络穿透的PaaS服务自动化部署方案,能够在不破坏OpenStack网络隔离的基础上,通过切换Linux network namespace,实现从OpenStack控制节点对租户网络环境的访问,从而在租户网络环境下完成PaaS服务的创建。(2)对PaaS服务中间件的功能模块与数据库结构进行设计,将整体功能划分为模板管理、编排管理、自动化运维、PaaS实例管理、运维日志管理和定时任务6大模块,对各个模块的核心功能实现展开了详细的介绍。为了能够对OpenStack的源代码进行复用,整个PaaS服务中间件采用Python 2.7版本实现。(3)在多节点OpenStack环境下对PaaS服务中间件的功能和性能展开验证与测试,实验结果表明,本文研究实现的基于OpenStack的PaaS服务中间件能够对PaaS服务的创建与管理提供支持,具有较高的可用性。

基于云架构的存储资源管控技术研究

这是一篇关于Hadoop,Puppet,自动化运维,资源管控的论文, 主要内容为随着云计算的大力发展,云存储作为其基础设施层面,起着至关重要的作用。在对云存储的研究过程中,Hadoop作为一个数据存储与分析框架,其稳定性和高效性,广泛地吸引着工业界和学术界的关注。它为企业应用提供了更强的计算力、更广泛的数据分布、更高的稳定性以及更灵活的可靠性,在搜索引擎、广告优化、机器学习等方面被越来越多的个人和企业运用。 作为一个开源的分布式存储与计算框架,Hadoop以其强大的功能,无需付费使用,吸引了大批的人员来进行研究。目前针对Hadoop的操作,主要是在Linux上通过终端命令行来进行管理和维护,缺少相应的工具,在操作过程中稍有差池,就会导致集群运行出错,而原生的Hadoop提供了基本的分布式存储方式,对于当前千差万别的硬件存储设备,它无法达到最优的性能。目前有很多组织根据自己的集群状况进行优化,如Cloudera的CHP,hortonworks的HDP等。 本文则是针对上述问题,设计并实现了基于云架构的存储资源管控系统。系统采用了Puppet作为配置同步的底层架构,Hadoop作为分布式数据存储和处理的云架构,通过SpringMvC框架开发了一套针对该架构的集群部署、监控、管理和优化系统,提供了一键式集群搭建,集群节点动态增加与移除和集群副本调度优化。本文的主要贡献如下： 1.提出了基于云架构的一键式部署框架 针对Hadoop搭建过程中的特点,本文提出了一键式部署框架,该框架是主从模式,通过对其整体架构设计以及服务端和及客户端的设计进行描述,从技术层面证明了集群的一键式部署的可行性。 2.提出了节点动态管理模型 集群节点理论上是可以无限增加的,如何对这些节点进行统一管理是一个难点。本文提出了一种节点动态管理模型,该模型底层采用了观察者模式,对节点的行为进行监听,在节点发生变化时,能够进行自动更新,减少了运维人员的操作。 3.集群优化调度方法 分布式存储的研究中,如何高效地利用存储空间是个热点问题。存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠。本文提出一种集群优化调度模型：第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间；第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用。 存储资源管控系统应用于科技部视频评审项目,简化了用户手动搭建Hadoop集群的步骤,摒弃了复杂的命令行管理集群的方式,借助于本系统,能够极大地提高用户搭建集群的可操作性与可用性。简洁的操作界面,便捷的操作方式,在集群的初期搭建与后期管理过程都能够起到至关重要的作用。

基于OpenStack的PaaS服务中间件研究与实现

这是一篇关于云计算,平台即服务,OpenStack,自动化运维的论文, 主要内容为近年来,云计算的概念逐渐进入大众的视野,随着计算机算力的不断增强,云计算技术也进入了高速的发展期。因为云计算具有的弹性与可靠性等特征,越来越多的机构、企业以及个人选择将应用与数据从本地数据中心迁移到“云”端。平台即服务(Platform as aService,PaaS)属于云服务的一种,提供了应用的开发环境、部署环境与测试环境,通过PaaS平台提供的资源,开发者可以更加高效地完成应用的持续集成、持续交付与持续部署,而无需关注底层云基础设施的管理,在提高生产力的同时,减少了管理成本。目前,对于PaaS服务的实施方案主要有两种,一种是基于容器和微服务的PaaS方案,另一种是依托于云平台提供的IaaS资源,基于自动化部署的PaaS方案。在本文中,研究了基于自动化部署的PaaS方案,设计并实现了一款基于OpenStack平台的PaaS服务中间件,依托于OpenStack平台,结合OpenStack平台的编排组件Heat与开源自动化运维工具Ansible,通过读取以YAML语言编写的模板文件,自动化地完成PaaS服务的部署与运维操作,提供了PaaS实例从创建至销毁的完整生命周期管理。本文主要从以下几个方面展开工作:(1)对OpenStack平台租户间的虚拟网络隔离机制进行研究和分析,提出了一种基于虚拟网络穿透的PaaS服务自动化部署方案,能够在不破坏OpenStack网络隔离的基础上,通过切换Linux network namespace,实现从OpenStack控制节点对租户网络环境的访问,从而在租户网络环境下完成PaaS服务的创建。(2)对PaaS服务中间件的功能模块与数据库结构进行设计,将整体功能划分为模板管理、编排管理、自动化运维、PaaS实例管理、运维日志管理和定时任务6大模块,对各个模块的核心功能实现展开了详细的介绍。为了能够对OpenStack的源代码进行复用,整个PaaS服务中间件采用Python 2.7版本实现。(3)在多节点OpenStack环境下对PaaS服务中间件的功能和性能展开验证与测试,实验结果表明,本文研究实现的基于OpenStack的PaaS服务中间件能够对PaaS服务的创建与管理提供支持,具有较高的可用性。

基于云原生的拓扑服务系统的设计与实现

这是一篇关于云原生,自动化运维,拓扑服务,微服务业务,监控,Prometheus的论文, 主要内容为随着信息化覆盖率的提高,面对巨大的IT设施,自动化运维逐渐被提上日程,自动化运维起初是面向基础资源的运维模式。在云计算时代,企业已不满足于只关心IT资源的运行状态,更关心业务系统的健康状态。本文的拓扑服务系统是自动化运维时代的产物,帮助运维工作人员定位、发现及解决故障问题。本文一方面是面向网络设备资源的运维管理,在自动化监测内网拓扑结构的基础上,设计监测网络节点和链路,帮助网络管理人员快速地知晓网络故障。另一方面是面向云业务运维,以可视化的方式呈现微服务业务流向,并计算业务内资源的故障影响范围,达到监控业务的目的。本文围绕网络设备拓扑服务和微服务业务拓扑服务所做的工作如下。第一章对本文的研究背景与意义、国内外发展现状等进行了分析总结。第二章介绍本文中使用到的技术理论,如部署技术、资源监控方式等。第三章首先基于市场对高效运维的迫切需求,针对拓扑服务系统的需求进行分析;然后设计系统架构,划分功能模块,根据模块划分结果细分微服务;接着,分析设计各个模块,包括资源全方位的告警指标内容、设计多维度阈值模板以满足用户多角度告警信息需求、基于LLDP协议发现网络设备物理连接关系以生成网络设备拓扑方案、基于Weave Scope发现微服务业务及其调用关系的方案设计、将权重计算方法与业务监控结合以建立业务监控模型。第四章是系统的详细设计与实现部分,包括Portal门户服务模块、数据采集服务模块、监控配置服务模块、监控服务模块、告警服务模块、业务服务模块和拓扑服务模块。在数据采集服务模块中,研究资源的监控方式,改变以往需要在资源上安装代理客户端来监控资源的方式,并使用基于Prometheus和Alertmanager的监控告警框架解决企业级的资源指标管理工作;在业务服务模块中,提出一种新的业务监控模型,将运维人员从海量的监控告警数据中解放出来;在拓扑服务模块中,基于LLDP标准化协议,实现网络设备拓扑结构可视化,以解决异构组网中的设备兼容性问题,使用Weave Scope进行微服务业务及其关系发现,并提出使用基于TCP流量的方式来补充业务链路的发现。第五章基于云原生容器化封装和自动化管理特征使用Docker容器技术,封装各个微服务,采用Kubernetes部署管理各容器,在公司平台上部署使用,减轻运维人员的工作量,提高运维人员的工作效率,证明本文网络设备拓扑服务和微服务业务拓扑服务研究内容的可行性及实用性。