基于PaaS的容器引擎管理平台的设计及实现

这是一篇关于容器,容器编排,持续集成,Docker,PaaS的论文, 主要内容为随着互联网的蓬勃发展和业务场景日趋复杂,要求应用程序能够快速迭代、快速上线,并能够根据流量的变化快速扩容。现有方案存在部署环境多样、流程长、沟通成本高、手工部署风险不可控等问题,导致部署过程缓慢、自动化程度低。由于部署环境个性化,提高了部署操作失败的风险,并且由于使用虚拟机技术,需要很高的硬件成本,这已经严重阻碍了业务的快速发展。本文利用Docker容器技术开发了一套PaaS应用系统“容器引擎管理平台”,目标是解决运维自动化的问题,减少由于环境差异造成的部署风险,为应用部署提供轻量、便捷的操作体验。根据业务流程进行了系统平台的需求分析;采用Docker容器技术进行了平台的技术架构设计;对平台的数据库、功能模块进行了概要设计;开发实现了平台的各个功能模块,包括用户管理、代码管理、镜像管理、应用管理、服务管理、监控管理等功能。并对系统平台进行了功能和性能测试,达到了实际应用的水平。本文研究的平台解决了目前普遍采用的技术方案所存在的问题,可以最大限度缩短应用程序的发布过程,应用上线时间缩短至秒级,发布过程安全、可控,提高硬件资源利用率,使应用服务的管理、运维更加便捷、高效、安全。同时可以为平台运营企业降低成本和运维工作量。

基于Docker的公共计算管理平台设计与实现

这是一篇关于云计算,虚拟化,容器编排,Docker,Swarm的论文, 主要内容为十年前云计算的概念进入人们的视野,到如今,云计算经过飞速发展已经取得了卓越的成果。云计算从服务的层次来说,可划分为软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)三个层次的服务模型。云计算平台提供了大量的服务,整合了松散的功能,通过统一的接口进行资源的管理、调度、监控工作。其中,在基于PaaS层提供的云服务平台上,应用程序开发者可以方便快捷地开发、测试、部署应用程序,运维人员也可以方便地进行运维工作,将应用程序托管在PaaS层管理的云计算平台中,可以达到缩短开发周期,降低运维成本的目的,并且节省大量运维人员在平台搭建和维护中所做的工作。在云计算飞速发展的同时,Docker作为新兴的轻量级容器引擎为云平台的构建提供了可靠的支持。早期云计算平台的调度方式使用虚拟机来实现,而现如今云平台多使用容器技术来代替虚拟机,本文设计使用Docker作为底层调度单元。发布于2013年的Docker技术具有建立于容器虚拟化之上“开箱即用”的特性,Docker将应用程序和其所依赖的运行环境打包到一起,并借助Linux容器(LXC)技术实现应用隔离。传统的虚拟机技术实现的是硬件层次的虚拟,而Docker实现的则是操作系统级的虚拟。所以和虚拟机相比,Docker容器更加轻载,粒度更小,可移植性也更强。对于PaaS平台而言,Docker可以提供标准化打包部署和计算资源隔离的能力,从而使得PaaS平台的构建更加简单高效。基于Docker.的公共服务计算管理平台借助Docker容器技术构建了一个云平台模型。该平台针对传统计算平台管理方式存在的诸多局限,采用将应用程序打包于Docker容器中的方式,多种应用程序部署于一套集群上,方便运维管理。平台提供多种类型的基础镜像供用户使用,支持用户上传应用程序包构建自已的镜像。同时平台利用docker-compose提供应用组合的模版,方便一键式搭建。利用成熟的Python Web应用开发框架Flask编写了基于Docker的公共服务计算管理平台。计算资源调度和容器的编排则采用Docker集成的Swarm工具实现。Swarm的目标就是在不同的应用框架之间高效的共享硬件资源,同时简化自身的调度逻辑,使其具有尽可能大的兼容性和可扩展性,以保证在大规模集群使用环境下的健壮性和对各种可能的运算框架的普遍适用性。针对Swarm在调度策略方面存在的一些缺陷,进行了策略改进,将资源利用率尽可能的最大化。

面向云边异构环境的容器化微服务编排研究

这是一篇关于云计算,边缘计算,容器编排,Kubernetes,异构,微服务,服务质量的论文, 主要内容为云计算的发展给整个信息产业带来了巨大的变化。将一个大型应用按功能拆分为多个独立的组件,在开发效率、鲁棒性和弹性等方面有很大的提高。由于微服务架构应用具有天然分布式的特性,使得它非常适合于云计算范式,许多云平台应用以微服务的形式开发部署。对于作为云扩展计算模式的边缘计算,微服务架构同样适用。作为一种轻量的虚拟化技术,容器技术的低资源消耗、低成本、编程语言无关等特点使其非常适合于承载微服务。将应用以微服务方式开发并以容器方式封装,最后通过云平台的容器编排系统部署是一种流行的方式。然而,现有容器编排系统的资源管理、调度等机制是为云数据中心而设计,在云边环境中部署应用的首要问题是组成节点的处理器指令集架构通常是异构的,这直接会导致应用的执行错误。其次,云边环境中存在不同类型的节点,它们存在单线程计算能力差异,由于微服务架构应用的实例之间存在负载的关联,节点计算能力的异构必然会造成应用性能下降、节点负载不均衡和资源利用率低的问题。最后是微服务之间存在大量的交互,而容器间的通信带宽、延迟和硬件开销与它们在集群中的相对位置有关,不合理的微服务实例放置会导致额外的延迟,降低应用的服务质量。本文针对上述问题,首先,面向节点CPU指令集架构异构,提出了一种多架构容器部署方案,设计并实现了KubeHICE,测试结果表明,KubeHICE支持在调度过程中自动查找架构适配的节点,可避免应用部署错误。第二,构建了微服务应用模型,针对节点CPU单线程能力异构问题,根据微服务应用的特点提出了一种新的CPU资源分配模型,然后基于此模型设计并实现了一种节点能力感知的容器化应用调度机制KubeHICE+,实验结果表明,KubeHICE+可明显提高异构集群中节点资源利用率,保证应用的性能。第三,在上述工作基础上,根据集群容器网络拓扑结构和微服务交互特征,设计了一种QoS感知的容器化微服务调度方法,实现了基于该方法的Kube MHICE原型系统,并通过实验验证了此方法可明显降低最大服务延迟,提高服务质量。

基于微服务与工作流技术的推荐系统研究与实现

这是一篇关于微服务,工作流,推荐系统,容器编排的论文, 主要内容为在面向广电用户的推荐系统中,涉及到了较多的业务范围,例如电影、电视、新闻,由于不同的业务范围和用户特点,产生了一些需要解决的问题。首先是不同的内容下需要针对用户的需求采取不同的推荐策略,因此需要将这些业务多层级多模块的划分和配置。其次的是若实现了上述的多种业务场景,系统的业务流程逻辑将较为复杂,普通的实现方法是硬编码,这导致管理人员难以清晰的查看业务流程动态。而第三个问题则是由于广电节目推荐系统的计算资源需求波动较大,导致资源的使用效率不高,推荐效果受影响。基于以上的背景,本文围绕广播电视内容推荐系统的业务范围划分、业务流管理以及在有限资源下的推荐计算量提升问题,使用推荐技术、微服务、工作流以及容器部署技术对系统进行了研究和实现。首先,本文构建了一个业务管理系统。系统管理人员可以在管理系统中手动添加业务模块与策略算法,并可将业务模块与策略算法通过灵活的配置结合起来,组成多种推荐场景。在推荐场景的实现是基于推荐系统的三层架构,包括离线、在线和近线三层,通过选择适当的组合,实现相关推荐、个性化推荐和热点推荐等场景。其次本文使用了工作流引擎对业务的流程进行管理,工作流引擎应用了业务流程建模符号标准来描述工作流,使业务流程更加的清晰且可控制业务的动态更改。传统的工作流是通过单体应用实现,本文使用微服务作为工作流引擎的单个任务实现,从而实现业务变更对系统部署的控制。最后,作为补充,为了在有限资源下提升推荐计算量,从而提升整体推荐效果,本文采用了部署层的动态热更新设计,即在推荐系统运行期间,根据系统负载变化对近线层和在线层的部署状态进行动态的更新。业务的灵活配置使得系统对于不同推荐需求的适配性更高,使系统可以基于固定推荐计算架构实现多种应用场景。通过工作流可将业务流程进行可视化与标准化的管理,使得推荐业务流程的静态组成和动态变化更加清晰直观。工作流与微服务的结合方便了推荐计算任务的部署和扩展,从而使得系统底层部署具有动态变更特性,使推荐计算量总是维持在高水平,提升了系统的整体推荐效果。

面向云边异构环境的容器化微服务编排研究

这是一篇关于云计算,边缘计算,容器编排,Kubernetes,异构,微服务,服务质量的论文, 主要内容为云计算的发展给整个信息产业带来了巨大的变化。将一个大型应用按功能拆分为多个独立的组件,在开发效率、鲁棒性和弹性等方面有很大的提高。由于微服务架构应用具有天然分布式的特性,使得它非常适合于云计算范式,许多云平台应用以微服务的形式开发部署。对于作为云扩展计算模式的边缘计算,微服务架构同样适用。作为一种轻量的虚拟化技术,容器技术的低资源消耗、低成本、编程语言无关等特点使其非常适合于承载微服务。将应用以微服务方式开发并以容器方式封装,最后通过云平台的容器编排系统部署是一种流行的方式。然而,现有容器编排系统的资源管理、调度等机制是为云数据中心而设计,在云边环境中部署应用的首要问题是组成节点的处理器指令集架构通常是异构的,这直接会导致应用的执行错误。其次,云边环境中存在不同类型的节点,它们存在单线程计算能力差异,由于微服务架构应用的实例之间存在负载的关联,节点计算能力的异构必然会造成应用性能下降、节点负载不均衡和资源利用率低的问题。最后是微服务之间存在大量的交互,而容器间的通信带宽、延迟和硬件开销与它们在集群中的相对位置有关,不合理的微服务实例放置会导致额外的延迟,降低应用的服务质量。本文针对上述问题,首先,面向节点CPU指令集架构异构,提出了一种多架构容器部署方案,设计并实现了KubeHICE,测试结果表明,KubeHICE支持在调度过程中自动查找架构适配的节点,可避免应用部署错误。第二,构建了微服务应用模型,针对节点CPU单线程能力异构问题,根据微服务应用的特点提出了一种新的CPU资源分配模型,然后基于此模型设计并实现了一种节点能力感知的容器化应用调度机制KubeHICE+,实验结果表明,KubeHICE+可明显提高异构集群中节点资源利用率,保证应用的性能。第三,在上述工作基础上,根据集群容器网络拓扑结构和微服务交互特征,设计了一种QoS感知的容器化微服务调度方法,实现了基于该方法的Kube MHICE原型系统,并通过实验验证了此方法可明显降低最大服务延迟,提高服务质量。

面向云边异构环境的容器化微服务编排研究

这是一篇关于云计算,边缘计算,容器编排,Kubernetes,异构,微服务,服务质量的论文, 主要内容为云计算的发展给整个信息产业带来了巨大的变化。将一个大型应用按功能拆分为多个独立的组件,在开发效率、鲁棒性和弹性等方面有很大的提高。由于微服务架构应用具有天然分布式的特性,使得它非常适合于云计算范式,许多云平台应用以微服务的形式开发部署。对于作为云扩展计算模式的边缘计算,微服务架构同样适用。作为一种轻量的虚拟化技术,容器技术的低资源消耗、低成本、编程语言无关等特点使其非常适合于承载微服务。将应用以微服务方式开发并以容器方式封装,最后通过云平台的容器编排系统部署是一种流行的方式。然而,现有容器编排系统的资源管理、调度等机制是为云数据中心而设计,在云边环境中部署应用的首要问题是组成节点的处理器指令集架构通常是异构的,这直接会导致应用的执行错误。其次,云边环境中存在不同类型的节点,它们存在单线程计算能力差异,由于微服务架构应用的实例之间存在负载的关联,节点计算能力的异构必然会造成应用性能下降、节点负载不均衡和资源利用率低的问题。最后是微服务之间存在大量的交互,而容器间的通信带宽、延迟和硬件开销与它们在集群中的相对位置有关,不合理的微服务实例放置会导致额外的延迟,降低应用的服务质量。本文针对上述问题,首先,面向节点CPU指令集架构异构,提出了一种多架构容器部署方案,设计并实现了KubeHICE,测试结果表明,KubeHICE支持在调度过程中自动查找架构适配的节点,可避免应用部署错误。第二,构建了微服务应用模型,针对节点CPU单线程能力异构问题,根据微服务应用的特点提出了一种新的CPU资源分配模型,然后基于此模型设计并实现了一种节点能力感知的容器化应用调度机制KubeHICE+,实验结果表明,KubeHICE+可明显提高异构集群中节点资源利用率,保证应用的性能。第三,在上述工作基础上,根据集群容器网络拓扑结构和微服务交互特征,设计了一种QoS感知的容器化微服务调度方法,实现了基于该方法的Kube MHICE原型系统,并通过实验验证了此方法可明显降低最大服务延迟,提高服务质量。

基于Docker的公共计算管理平台设计与实现

这是一篇关于云计算,虚拟化,容器编排,Docker,Swarm的论文, 主要内容为十年前云计算的概念进入人们的视野,到如今,云计算经过飞速发展已经取得了卓越的成果。云计算从服务的层次来说,可划分为软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)三个层次的服务模型。云计算平台提供了大量的服务,整合了松散的功能,通过统一的接口进行资源的管理、调度、监控工作。其中,在基于PaaS层提供的云服务平台上,应用程序开发者可以方便快捷地开发、测试、部署应用程序,运维人员也可以方便地进行运维工作,将应用程序托管在PaaS层管理的云计算平台中,可以达到缩短开发周期,降低运维成本的目的,并且节省大量运维人员在平台搭建和维护中所做的工作。在云计算飞速发展的同时,Docker作为新兴的轻量级容器引擎为云平台的构建提供了可靠的支持。早期云计算平台的调度方式使用虚拟机来实现,而现如今云平台多使用容器技术来代替虚拟机,本文设计使用Docker作为底层调度单元。发布于2013年的Docker技术具有建立于容器虚拟化之上“开箱即用”的特性,Docker将应用程序和其所依赖的运行环境打包到一起,并借助Linux容器(LXC)技术实现应用隔离。传统的虚拟机技术实现的是硬件层次的虚拟,而Docker实现的则是操作系统级的虚拟。所以和虚拟机相比,Docker容器更加轻载,粒度更小,可移植性也更强。对于PaaS平台而言,Docker可以提供标准化打包部署和计算资源隔离的能力,从而使得PaaS平台的构建更加简单高效。基于Docker.的公共服务计算管理平台借助Docker容器技术构建了一个云平台模型。该平台针对传统计算平台管理方式存在的诸多局限,采用将应用程序打包于Docker容器中的方式,多种应用程序部署于一套集群上,方便运维管理。平台提供多种类型的基础镜像供用户使用,支持用户上传应用程序包构建自已的镜像。同时平台利用docker-compose提供应用组合的模版,方便一键式搭建。利用成熟的Python Web应用开发框架Flask编写了基于Docker的公共服务计算管理平台。计算资源调度和容器的编排则采用Docker集成的Swarm工具实现。Swarm的目标就是在不同的应用框架之间高效的共享硬件资源,同时简化自身的调度逻辑,使其具有尽可能大的兼容性和可扩展性,以保证在大规模集群使用环境下的健壮性和对各种可能的运算框架的普遍适用性。针对Swarm在调度策略方面存在的一些缺陷,进行了策略改进,将资源利用率尽可能的最大化。

基于PaaS的容器引擎管理平台的设计及实现

这是一篇关于容器,容器编排,持续集成,Docker,PaaS的论文, 主要内容为随着互联网的蓬勃发展和业务场景日趋复杂,要求应用程序能够快速迭代、快速上线,并能够根据流量的变化快速扩容。现有方案存在部署环境多样、流程长、沟通成本高、手工部署风险不可控等问题,导致部署过程缓慢、自动化程度低。由于部署环境个性化,提高了部署操作失败的风险,并且由于使用虚拟机技术,需要很高的硬件成本,这已经严重阻碍了业务的快速发展。本文利用Docker容器技术开发了一套PaaS应用系统“容器引擎管理平台”,目标是解决运维自动化的问题,减少由于环境差异造成的部署风险,为应用部署提供轻量、便捷的操作体验。根据业务流程进行了系统平台的需求分析;采用Docker容器技术进行了平台的技术架构设计;对平台的数据库、功能模块进行了概要设计;开发实现了平台的各个功能模块,包括用户管理、代码管理、镜像管理、应用管理、服务管理、监控管理等功能。并对系统平台进行了功能和性能测试,达到了实际应用的水平。本文研究的平台解决了目前普遍采用的技术方案所存在的问题,可以最大限度缩短应用程序的发布过程,应用上线时间缩短至秒级,发布过程安全、可控,提高硬件资源利用率,使应用服务的管理、运维更加便捷、高效、安全。同时可以为平台运营企业降低成本和运维工作量。

面向云边异构环境的容器化微服务编排研究

这是一篇关于云计算,边缘计算,容器编排,Kubernetes,异构,微服务,服务质量的论文, 主要内容为云计算的发展给整个信息产业带来了巨大的变化。将一个大型应用按功能拆分为多个独立的组件,在开发效率、鲁棒性和弹性等方面有很大的提高。由于微服务架构应用具有天然分布式的特性,使得它非常适合于云计算范式,许多云平台应用以微服务的形式开发部署。对于作为云扩展计算模式的边缘计算,微服务架构同样适用。作为一种轻量的虚拟化技术,容器技术的低资源消耗、低成本、编程语言无关等特点使其非常适合于承载微服务。将应用以微服务方式开发并以容器方式封装,最后通过云平台的容器编排系统部署是一种流行的方式。然而,现有容器编排系统的资源管理、调度等机制是为云数据中心而设计,在云边环境中部署应用的首要问题是组成节点的处理器指令集架构通常是异构的,这直接会导致应用的执行错误。其次,云边环境中存在不同类型的节点,它们存在单线程计算能力差异,由于微服务架构应用的实例之间存在负载的关联,节点计算能力的异构必然会造成应用性能下降、节点负载不均衡和资源利用率低的问题。最后是微服务之间存在大量的交互,而容器间的通信带宽、延迟和硬件开销与它们在集群中的相对位置有关,不合理的微服务实例放置会导致额外的延迟,降低应用的服务质量。本文针对上述问题,首先,面向节点CPU指令集架构异构,提出了一种多架构容器部署方案,设计并实现了KubeHICE,测试结果表明,KubeHICE支持在调度过程中自动查找架构适配的节点,可避免应用部署错误。第二,构建了微服务应用模型,针对节点CPU单线程能力异构问题,根据微服务应用的特点提出了一种新的CPU资源分配模型,然后基于此模型设计并实现了一种节点能力感知的容器化应用调度机制KubeHICE+,实验结果表明,KubeHICE+可明显提高异构集群中节点资源利用率,保证应用的性能。第三,在上述工作基础上,根据集群容器网络拓扑结构和微服务交互特征,设计了一种QoS感知的容器化微服务调度方法,实现了基于该方法的Kube MHICE原型系统,并通过实验验证了此方法可明显降低最大服务延迟,提高服务质量。

基于Docker的资源分配与容器集群管理系统的设计与实现

这是一篇关于Docker,分布式,容器编排,调度,一键式部署的论文, 主要内容为在近几年中,“云计算”一次越来越火热,越来越多的计算开始加入云,因其配置的动态可扩展性和资源的虚拟化,能够带来诸多的好处,众多互联网公司纷纷将企业应用上云,云计算也将成为互联网公司角逐的战场。以发展的眼光来看计算机领域,未来用户所需要的计算与网络等环境一定是极其复杂的,因此我们必须要能更高效的对此进行有效的管理。这样开发者就不必为复杂运行环境而发愁,可以将100%的精力放到最核心的业务逻辑上。除此之外,我们希望在这个基础上为用户提供一个持续集成开发环境,在为用户提供服务器与计算环境地基础上,还希望能够让用户方便快捷地进行资源与环境的申请以及对容器等对象地管理。在几年前,还有许多的云计算平台还是基于虚拟机运行的,虽然相对于物理机的部署方式已经有了很大的提升,但是还是在资源利用率以及性能等方面存在一些问题。大数据计算框架是云平台上非常典型的一种应用场景,基于这种云,大数据框架在处理海量数据的时候,因为其资源率用率和性能掣肘,不能很好的应对这种处理环境。所以它并不是交付应用程序最有效的方式。Docker是容器引擎,具有轻量级及其更好的计算性能,更适用于微服务,同时对资源隔离和控制也更高效等优点,因此Docker在HPC和云计算领域具有很好的应用前景。既然Docker具有以上的优点,完全可以使用Docker作为底层来完全替代掉虚拟机,这样就可以实现高效的虚拟化,并且在应用的启停上取得进步,在此基础上如果能够资源的再分配,并且能够进行有效的容器编排,就可以实现一个基于Docker的分布式的可以进行资源调度的容器集群管理系统。本文主要实现了一个基于Docker的分布式容器编排和部署系统,只有两个核心组成部分,部署简单,且可任意扩展。提供了不同资源维度的调度,同时也负责编排容器,实现了三种高效的容器分配算法,使其能够高效透明的进行容器的部署和编排行为,并且开发了web API,为用户提供接口进行访问,这样即使用户不了解内部具体实现细节,也可以方便快捷地实现相关操作。在此基础上,通过上层支撑组件统一开发工作流,降低运维复杂度,提供了集开发、部署、运维于一身的持续集成开发环境,对于寻求高效运维方案的组织和个人开发者而言更加友善。本质上来说提供了和k8s/swarm一样的容器编排和调度能力,但是组件就2个,尽可能降低了学习、使用、部署的门槛,并且和mesos 比更加纯粹和简单,没那么繁复的结构,只需要一台机器和一个docker就可以了。