大规模服务器集群资源利用率提升方法与实现
这是一篇关于资源利用率,Kubernetes,容器,资源调度,资源超卖的论文, 主要内容为对互联网企业而言,通过提升数据中心服务器资源利用率实现降本增效有着重要的意义。随着微服务时代的到来和容器化技术的推广,Google于2014年开源了容器编排引擎Kubernetes,如今Kubernetes已被企业在云计算领域广泛应用。但Kubernetes存在以下问题:一是Kubernetes在进行资源调度时并未考虑到容器的实际资源使用量和不同服务对应的容器的资源需求差异,进而造成的大量的资源碎片和严重的资源分配不均衡;二是对于有状态服务而言,其容器资源的实际使用量往往远低于原始申请量,造成了大量预约资源闲置。因此,现有服务器集群的资源利用率不高,亟待提升。为此,本文聚焦如何提升基于Kubernetes的云服务器集群资源利用率,做了如下创新工作:(1)针对因资源调度策略不合理导致的资源碎片问题和资源分配不均衡问题,分别提出了一种基于Bucket的打分算法和一种Least打分算法。具体地,通过在资源调度的打分阶段将Node剩余资源的均衡程度纳入衡量范围,使得经过调度后的服务器剩余资源分布更加合理;通过在资源调度的打分阶段将容器的实际资源使用量纳入衡量范畴,使得资源分配更加合理均衡。进一步将两种算法融合,提出了基于B-L(Bucket-Least)算法的资源调度方案,并利用调度框架(Scheduling Framework)开发出了B-L调度器。在Kubernetes集群中的实测结果表明,B-L调度器能够减少4%的资源碎片,集群服务器资源利用更加均衡。(2)针对因资源申请量和实际使用量不匹配造成的资源闲置问题,提出了一种RO(resource oversell)算法。具体地,根据服务器当前资源利用率超卖服务器资源,即在资源利用率低于预设门限时,依据所设计RO曲线映射函数进行资源放大售卖,使服务器资源在逻辑上虚拟增加,进而缩小服务器实际资源使用量和可用资源量之间的偏差,使得闲置资源能被有效利用。进一步利用准入控制器(admission webhook)研发了资源动态超卖组件kwai-resource-controller,并部署到实际Kubernetes集群中。测试结果表明,kwai-resource-controller能够使集群中服务器CPU的闲置减少了近10%,内存闲置减少了近20%。在上述基于B-L算法的资源调度方案和基于RO算法的资源超卖方案基础上,构建了大规模服务器集群资源利用率提升方法。目前该方法已部署并应用于某大型互联网公司多个Kubernetes线上集群,并申请专利两项。实际运行效果表明,集群中服务器CPU利用率提升达到20%以上,内存利用率提升达到30%以上,为公司的服务器集群资源利用率提升和用户计算服务效率提升提供了重要的技术支撑。
基于进化多任务优化的多目标容器部署算法研究
这是一篇关于多目标优化,容器部署,微服务,资源利用率,进化多任务优化的论文, 主要内容为容器化技术具有支持快速部署Web应用程序和提高云数据中心资源利用率等潜力,因此它被广泛应用到微服务架构中。尽管现有的容器化技术已经得到了很好的发展,然而,随着用户对应用需求的不断增长,导致云数据中心对计算资源的需求也不断增长。因此,如何有效地解决应用程序的快速部署和提高云数据中心的资源利用率,从而减少物理机的使用数量则成为亟待解决的问题。容器部署是一个NP难组合优化问题。进化算法作为一种成熟的具有广泛适用性的全局优化方法,在解决容器部署问题上前景广阔,但现有的方法既没有关注大规模多目标容器部署(Multi-objective Container Placement,MOCP)优化问题,也没有考虑优化任务之间潜在的相关关系。因此,本文针对云数据中心不同的多目标容器部署优化问题,提出了几种新的基于进化多任务优化的方法。本文具体完成了以下的工作内容:1.针对云数据中心处理用户对同一个应用程序的并发请求的MOCP问题,结合改进的多因子进化算法(Multi-factorial Evolutionary Algorithm,MFEA),提出了MOCP-MFEA算法。该算法首次将多个用户的并发应用程序请求建模为一个四目标的多任务问题,并提出了两种编解码方法来促进任务间遗传信息的迁移进而加速算法收敛。同时,该算法还提出了局部搜索策略来处理算法的不可行解和提高集群的资源利用率。在不同应用数量和异构集群规模下对该算法进行测试。实验结果表明,所提出的算法可以显著缩短优化时间,并且在异构集群环境中表现出良好的弹性,从而为MOCP问题提供一种有竞争力的解决方案。2.针对云数据中心不同应用程序并发请求的MOCP问题,提出了一种多任务多种群(Multi-task Multi-population,MTMP)方法,记为MOCP-MTMP。提出的MOCPMTMP算法旨在提高集群的资源利用率,减少每台活动物理机上的资源浪费,并在满足资源约束和高可用性约束的情况下最大限度地减少活动物理机的数量。算法首先对应用程序进行分组,将每个分组视为一个优化任务,再利用多种群方法挖掘多个任务之间的潜在协同作用促进多个优化任务向最优解进行收敛。在异构集群环境中的两个不同测试模型上,所提出的算法被应用于具有不同应用程序规模的各种MOCP问题。实验结果表明,所提出的算法能够为不同应用程序的MOCP问题提供高效的部署方案。3.针对云数据中心不同应用程序的在线MOCP问题,提出了一种多任务遗传规划(Multi-task Genetic Programming,MTGP)方法,即MOCP-MTGP。由于在线容器部署需要实时响应,大多数当前的资源分配技术依赖于基于规则的方法,而未考虑资源请求类型和物理机类型等综合信息,使得集群中的资源未得到有效利用。因此,本文提出了一个新的在线MOCP问题模型,该模型首次考虑按照资源请求类型选择合适的分配规则。提出的MOCP-MTGP算法能从历史工作负载模式和不同异构集群状态中自动生成多组分配规则。综合实验表明,该算法能在满足资源约束和高可用性约束的前提下提高集群的资源利用率。
利用近似计算保证共同运行的多个延迟敏感程序性能
这是一篇关于负载聚合,近似计算,延迟敏感程序,资源利用率的论文, 主要内容为互联网自诞生之日起,就以惊人的速度改变世界,云计算、大数据产业应运发展,这背后离不开数据中心的支持,数据中心在当今社会发挥非常重要的核心作用,已融入我们的生活。数据中心作为一个大量程序共同运行的载体,已经从理想变为现实。大型数据中心资源平均利用率仅在10%到50%之间,为了提高数据中心资源利用率,通常采用的方法是负载聚合(workload consolidation),是指在单个服务器节点上共同运行多个程序,超过60%的数据中心运营商会采用负载聚合。此外,数据中心程序内容具有多样性,按照性能指标可以分为以IPC(Instruction Per Cycle)为度量方法的批量程序、以响应时间为度量方法的延迟关键程序(Latency Critical Program),而对于高优先级、延迟敏感程序超出服务质量要求的性能下降是不能被接受的。为了保证延迟敏感程序的性能,同时实现负载聚合,当前很多研究是将延迟敏感程序与批量程序在一个服务器节点上共同运行,当前工作提出很多资源配置、程序调度策略,实现延迟敏感程序性能与系统资源利用率二者之间的权衡。然而,数据中心很多应用程序正处在由批量程序向延迟敏感程序的转型期,并且数据中心的程序架构正重新设计,整体且功能强大的服务正更新为上百个松散耦合的微服务,每个微服务具有微秒级延迟限制。因此,将一个延迟敏感程序与批量程序共同运行的方法有很多不足,比如:与当前数据中心程序类型的比例不符,严重限制了在数据中心运行程序的类型,阻碍程序灵活性调度。而目前针对支持多个延迟敏感程序聚合执行的研究刚刚开始。研究发现,近似计算以其精度损失为代价来获取程序性能提升的特性,可以解决延迟敏感程序的延迟问题。由于数据中心很多延迟敏感程序比如机器学习、人脸识别、图像处理属于可以近似计算的程序,这类程序对输出质量有高容忍性,当程序输出精度降低时,输出质量的差异是用户在视觉和听觉上不可察觉的,符合近似计算的特性。因此,可将延迟敏感程序细分为可近似延迟敏感程序和不可近似延迟敏感程序。数据中心运营商可以与用户协商程序输出的精度范围,获得程序源代码,利用近似计算的特性,减少程序中某些循环迭代或者指令的执行,维持程序原有的执行时间。所以,本文提出一种利用近似计算保证多个延迟敏感程序性能的方法,旨在通过近似计算将多个延迟敏感程序在同一服务器节点上共同运行,提高系统资源利用率的同时,保证多个延迟敏感程序的性能,实现系统资源利用率、多个延迟敏感程序性能、灵活性程序调度三者之间的权衡,该方法主要有以下工作:第一,设计基于LLVM编译器的近似计算方法。利用LLVM编译器,通过修改优化器中转换循环的自然循环规范化(loop-simplify)实现近似计算软件级循环穿孔,设置控制近似程度的穿孔率,穿孔率由N表示,N为大于1的整数,并设置三种质量管理办法。通过实验证明,近似计算软件级循环穿孔可以减少程序执行时间,程序性能变化率与穿孔率有直接关系,该近似计算方法也可以维持程序原有的执行时间。第二,提出一种利用近似计算保证多个延迟敏感程序性能的方法,该方法基于近似计算技术的研究。该方法将多个延迟敏感程序在同一服务器节点上共同运行,即可近似和不可近似延迟敏感程序共同运行;利用Cgroups资源管理机制限制可近似延迟敏感程序使用的资源,使不可近似延迟敏感程序在充足的资源环境内执行,保证其性能;可近似延迟敏感程序在限制的资源内运行,设置动态调整机制,通过近似计算方法来维持程序原有的执行时间。实验表明:可以通过在同一服务器节点上共同运行可近似和不可近似延迟敏感程序的方法来提高系统资源利用率,同时保证多个延迟敏感程序性能,有效解决将一个延迟敏感程序与批量程序共同运行的弊端。通过以上工作,本文以保证多个延迟敏感程序性能和提高系统资源利用率为研究目标,通过LLVM编译器实现可近似程序自动循环穿孔,减少程序执行时间;通过将多个延迟敏感程序在同一服务器节点上共同运行,利用近似计算技术保证多个延迟敏感程序性能,并提高系统资源利用率。最终,实现延迟敏感程序性能保证、系统资源利用率提高、程序灵活性调度三者之间的权衡。
基于进化多任务优化的多目标容器部署算法研究
这是一篇关于多目标优化,容器部署,微服务,资源利用率,进化多任务优化的论文, 主要内容为容器化技术具有支持快速部署Web应用程序和提高云数据中心资源利用率等潜力,因此它被广泛应用到微服务架构中。尽管现有的容器化技术已经得到了很好的发展,然而,随着用户对应用需求的不断增长,导致云数据中心对计算资源的需求也不断增长。因此,如何有效地解决应用程序的快速部署和提高云数据中心的资源利用率,从而减少物理机的使用数量则成为亟待解决的问题。容器部署是一个NP难组合优化问题。进化算法作为一种成熟的具有广泛适用性的全局优化方法,在解决容器部署问题上前景广阔,但现有的方法既没有关注大规模多目标容器部署(Multi-objective Container Placement,MOCP)优化问题,也没有考虑优化任务之间潜在的相关关系。因此,本文针对云数据中心不同的多目标容器部署优化问题,提出了几种新的基于进化多任务优化的方法。本文具体完成了以下的工作内容:1.针对云数据中心处理用户对同一个应用程序的并发请求的MOCP问题,结合改进的多因子进化算法(Multi-factorial Evolutionary Algorithm,MFEA),提出了MOCP-MFEA算法。该算法首次将多个用户的并发应用程序请求建模为一个四目标的多任务问题,并提出了两种编解码方法来促进任务间遗传信息的迁移进而加速算法收敛。同时,该算法还提出了局部搜索策略来处理算法的不可行解和提高集群的资源利用率。在不同应用数量和异构集群规模下对该算法进行测试。实验结果表明,所提出的算法可以显著缩短优化时间,并且在异构集群环境中表现出良好的弹性,从而为MOCP问题提供一种有竞争力的解决方案。2.针对云数据中心不同应用程序并发请求的MOCP问题,提出了一种多任务多种群(Multi-task Multi-population,MTMP)方法,记为MOCP-MTMP。提出的MOCPMTMP算法旨在提高集群的资源利用率,减少每台活动物理机上的资源浪费,并在满足资源约束和高可用性约束的情况下最大限度地减少活动物理机的数量。算法首先对应用程序进行分组,将每个分组视为一个优化任务,再利用多种群方法挖掘多个任务之间的潜在协同作用促进多个优化任务向最优解进行收敛。在异构集群环境中的两个不同测试模型上,所提出的算法被应用于具有不同应用程序规模的各种MOCP问题。实验结果表明,所提出的算法能够为不同应用程序的MOCP问题提供高效的部署方案。3.针对云数据中心不同应用程序的在线MOCP问题,提出了一种多任务遗传规划(Multi-task Genetic Programming,MTGP)方法,即MOCP-MTGP。由于在线容器部署需要实时响应,大多数当前的资源分配技术依赖于基于规则的方法,而未考虑资源请求类型和物理机类型等综合信息,使得集群中的资源未得到有效利用。因此,本文提出了一个新的在线MOCP问题模型,该模型首次考虑按照资源请求类型选择合适的分配规则。提出的MOCP-MTGP算法能从历史工作负载模式和不同异构集群状态中自动生成多组分配规则。综合实验表明,该算法能在满足资源约束和高可用性约束的前提下提高集群的资源利用率。
基于微服务化电子商务平台的云容器部署研究与应用
这是一篇关于微服务,容器,多目标,资源利用率,能耗的论文, 主要内容为随着软件体系结构的快速发展,传统的单体架构很难支持当今社会的软件开发应用。自Docker问世以来,微服务也得到了快速的发展,企业、组织等纷纷使用微服务架构进行开发。通过微服务架构体系思想将电子商务平台进行微服务化拆分,能够有效的降低不断迭代开发带来的复杂度。同时使用Docker为微服务化电子商务平台做云容器部署,更能够简化部署的过程,提供良好的隔离机制。为了管理数以万计的容器应用,各种容器编排框架应运而生,其中,容器调度过程中带来的能耗高、资源利用率低等问题非常显著。研究合理的容器放置能有效的减缓此类问题。为了研究上述内容,本文以电子商务平台为背景,针对其架构与容器技术目前存在的一些问题,完成了以下的工作:(1)综述了微服务架构以及研究了微服务之间的通信、服务部署以及服务发现等内容,并详细介绍了Docker容器技术,对Docker作了简单的介绍,包括Docker容器的功能与组件等。然后分析了Docker优点,为什么Docker与微服务架构如此契合。介绍了目前流行的容器编排部署技术。(2)针对目前容器编排框架或技术在微服务化应用的容器编排过程中没有考虑容器镜像复用以及只考虑CPU能耗的问题,本文依据容器基础镜像可共享这一理论基础,同时以CPU、内存和带宽三个资源目标为容器选择放置的因素,提出一个基于镜像复用的多目标资源容器放置算法予以解决目前微服务化应用容器编排存在的问题。(3)针对单体架构已不能满足电子商务平台需求的问题,设计出一套微服务架构体系的电子商务平台,然后对平台进行容器化部署。首先对电子商务平台进行微服务的拆分,接着建立电子商务平台的微服务架构,然后对电子商务平台进行容器化,最后基于镜像复用的多目标资源容器放置算法对电子商务平台的容器进行了部署。(4)实验分析了电子商务平台的容器通过基于镜像复用的多目标资源容器放置算法部署到云容器的资源消耗情况。验证了该策略能够在云环境中为电子商务平台提供支持。本文通过对微服务架构、容器化部署和容器放置算法的研究,并在电子商务平台上进行应用,将有助于电子商务平台的发展。
面向交叉微服务链的任务调度优化研究
这是一篇关于微服务链,多目标优化,任务调度算法,资源利用率,任务响应时间的论文, 主要内容为微服务架构将应用程序划分为一组松散耦合的细粒度服务,这些服务相互协作形成了多条存在交叉的微服务链。合理地为服务分配资源,能够有效解决服务链交叉带来的资源竞争问题,同时也是任务调度过程中提高资源利用率、降低任务响应时间的关键。而现有的研究中往往忽视或简化了服务链交叉访问微服务时产生的冲突问题,导致系统调度效果差。本文针对以上问题,从系统建模和调度算法两方面进行了优化研究,具体工作如下:(1)为准确预测微服务架构中服务的资源消耗情况和任务执行的时间开销,构建了基于微服务链的系统资源模型和任务请求的响应时间模型,采用关系矩阵表示系统中服务链的调用关系。为综合考虑系统资源利用率以及处理请求的全局响应时间,构建了微服务链任务调度的多目标优化模型,为后续提出的调度算法以及系统实现高效准确的跨链调度管理提供精准的模型支撑。(2)为解决传统调度策略在跨链调度时存在的资源竞争与响应时间长的问题,以上述多目标优化模型为基础,综合了蚁群算法并行计算与模拟退火算法局部搜索力度大的优势,提出了一种面向交叉微服务链的任务调度算法(Chain-oriented Task Scheduling Algorithm,COTSA)。该算法首先采用树形结构生成微服务可执行序列的解空间,其次使用质量评估函数衡量解空间中可行解的优越性,以确保蚁群信息素矩阵更新的有效性,最后在迭代过程中根据多目标的启发式信息提高最优路径的选择概率。每次迭代结束后根据当前可行解生成一个邻域解空间,并利用模拟退火算法较强的局部搜索能力在该空间内进行扰动产生新的可行解,若优于当前最优解则将当前解更新为新解,反之则以一定的概率接受新解,避免蚁群算法陷入局部最优。本文通过实验阐述了系统模型和COTSA中关键参数对优化目标和算法性能的影响,并对实验结果进行了分析,同时与先来先服务算法(First Come First Service,FCFS)和传统的蚁群算法(Ant Colony Optimization,ACO)进行了比较。在资源利用率方面,COTSA优于FCFS算法和ACO算法;在任务的全局响应时间方面COTSA低于ACO算法,当请求量高于300时优于FCFS算法。实验结果表明本文提出的COTSA算法在解决多条服务链争夺物理资源的问题上取得了较好的效果。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://m.bishedaima.com/lunwen/51325.html
