面向算力网络的资源监控及预测系统的设计与实现
这是一篇关于算力网络,算力资源感知,监控系统,时序预测的论文, 主要内容为近年来,由于计算需求的不断提高,“云、边、端”协同的三级计算部署方案逐渐普及。算力网络进一步提出将云、边、端中泛在分布的网络、计算、存储资源协同调度,并根据用户需求制定高效合理的算力资源分配和调度策略,以提高服务质量和算力资源利用率。算力资源感知是算力网络的关键技术之一,本文围绕算力资源感知的实现和改进方案,主要进行了以下工作:(1)设计并实现面向算力网络的资源监控系统。算力资源感知可以通过使用资源监控系统来实现。目前常用的资源监控系统由于架构设计或性能方面的问题,不适合监控算力网络场景。本文根据算力网络的特点,提出了面向算力网络的监控系统的设计原则,并据此原则进行资源监控系统的架构设计。本文设计的资源监控系统分为解耦的客户端和服务器端。客户端运行在算力节点上,包含数据采集模块和监控管理模块;服务器端运行在管控中台,包含数据处理模块和运维管控模块。基于以上架构,本文设计并完善了系统各功能的技术方案和实现机制,搭建试验平台,并对系统进行功能测试,验证系统功能运行正常。(2)提出基于Transformer的算力资源预测算法。Transformer算法不仅能够对复杂的数据变化做出预测,还善于处理长序列问题,适合预测算力网络中具有变化频率快、变化规律不明显等特点的资源。因此,本文采用了基于Transformer的预测算法来实现资源数据预测,并针对Transformer在预测时存在的问题,使用对数稀疏策略和卷积自注意力机制进行改进,以提高算法的空间效率和预测效果。为了验证算法的性能,本文进行仿真实验,选取CPU和磁盘I/O两个数据变化具有代表性的指标,将本文使用的改进的基于Transformer的预测算法与ARIMA算法和基于LSTM的预测算法进行效果对比。实验结果表明,本文采用的算法在收敛速度和预测准确性方面表现较好。
业务为中心的算网资源规划系统设计与实现
这是一篇关于算力网络,资源规划,并发组件化业务,资源竞争的论文, 主要内容为随着各行业数字智能化转型升级进度加快,全社会数据总量呈爆发式增长,同时商业化进程加速,业务需要广泛的数据传输与大量的算力资源来进行基于海量图像、视频、物理设备、网络环境的数据深度分析与处理。为了充分利用算力网络中的异构算力资源,适应日益复杂的功能组件结构,业务与分布式资源进行适配,在算力网络中形成了以增强现实AR游戏为代表的组件化业务。组件化业务由多种功能解耦的不同子任务组成,可以部署到不同的计算节点协同完成计算任务。同时算力网络中大量分布于网络中的计算资源可以提供更多靠近用户的计算节点来承载算力需求,任务部署更靠近终端设备,数据传输和处理更加及时。但是考虑到算力网络中异构资源节点计算性能、可用资源量等存在明显差异,组件化业务中各个子任务所需要的计算资源与运行时产生的存储数据大小也存在明显的不同,现有的算网资源规划机制不能将算力网络环境下异构的云-边-端算力资源与组件化业务的资源需求匹配起来,网络控制面在为多个并发组件化业务部署选择合适计算节点时,子任务执行存在先后顺序,会产生资源的竞争冲突,影响整体业务质量。同时考虑到网络规模扩大会导致资源规划效率降低,资源节点计算能力的改变会导致控制面重新寻找最优资源,使得可供业务分配的算网资源具有不确定性,需要在满足这些差异化需求的条件下,尽可能地优化并发组件化业务的规划资源范围。因此研究算力网络场景下针对多并发的组件化业务的算网资源规划机制具有重要意义。本文首先调研了算力网络场景以及其承载业务,并研究了面向算力网络场景的资源规划算法的国内外研究现状和存在的问题。在此基础上,提出了面向并发业务的基于预留策略的算网资源规划方法。首先提出业务为中心的算网资源预留算法,克服在为并发业务分配算网资源时存在的竞争问题,确定可供业务资源分配的算网资源规模;然后基于预留策略提出算网资源分配方法,使算力网络可以快速地根据现实中具体的业务场景,灵活动态地为业务提供服务,实验表明,在资源预留范围内进行资源分配能够节约大约60.58%至71.43%的时间,提高了算网资源规划效率。在算法研究基础上,本文设计并实现了一种业务为中心的算网资源规划系统,该系统按照模块化方式进行设计开发,能够提供算网一体规划实现方案,提供控制面业务相关的算网资源信息,能够可视化实现算网一体化的资源监视,并对业务、网络、算法信息进行统计分析,为后续算力网络研究提供基础平台。综上所述,本文重点研究了算力网络场景下多并发业务的算网资源规划方法,解决了业务竞争算网资源过程中存在的冲突,提高了算网资源规划效率,并以此为基础设计实现了相应的资源规划系统,从实验仿真与系统实现两方面进行了验证。
算力网络中联邦学习框架及其应用实现
这是一篇关于联邦学习,算力网络,资源预缓存的论文, 主要内容为随着移动通信技术的发展与边缘设备数量的激增,传统的集中式机器学习已经满足不了纷繁复杂的应用场景对实时性和数据隐私安全的要求。联邦学习在保护用户隐私和利用边缘算力资源方面有着先天的优势,但依然面临着上行带宽不足,各联邦学习节点算力参差不齐,数据分布不均等问题。为了加速云上集中智能向深度边缘泛在智能演进,让AI在6G中成为一种原生能力而不再是OTT特性,利用算力网络给联邦学习赋能是一个有效且可行的方案。因此本文对算力网络中的联邦学习框架进行了研究,主要贡献包含以下三个方面。一、深入分析了算力网络与联邦学习的特点以及所面临的挑战。针对算力网络中算力资源分配灵活的特点和一般机器学习任务中模型训练与模型推理的关系,设计了一种由三个微服务组成的联邦学习框架,实现了模型训练与推理解耦,满足了算力网络中灵活部署、训练AI的需求。并且对该联邦学习框架的工作流程和各个微服务之间的交互关系进行了设计,实现了在算力网络中灵活高效地进行联邦学习的目的。通过该框架的相关设计,为后文的逐层聚合方案研究、资源预缓存系统的实现奠定了基础。二、在功能方面该联邦学习框架已经在算力网络中实现了联邦学习的基本能力。然而该联邦学习框架忽略了算力网络对资源的感知量化以及编排能力,在性能上尚有很大优化空间。为了解决这一痛点,本文提出了多个利用算力网络的特性提高联邦学习效率的方案。针对算力网络去中心化的特点,基于对等架构的联邦学习提出逐层聚合方案,将聚合过程关于节点数量的时间复杂度由O(n)降低到了 O(log(n));针对算力网络的资源量化与感知能力设计了拓扑结构决策算法,经过实验表明在节点数量达到60时可以将聚合过程用时降低30%;针对联邦学习的隐私特性和算力网络中边缘侧异构算力资源丰富的特点设计了利用分割学习进行训练任务卸载的方法,在本地训练过程中实现了对算力网络空闲算力资源的充分利用。三、随着移动通信技术的飞速发展,用户访问网络资源的瓶颈来到了网络服务器性能以及网络带宽。因此本文对基站处的网络资源预缓存进行了研究,设计了基站处网络资源预缓存的仿真系统,分用户模拟模块和基站模拟模块真实地还原了基站处进行资源预缓存的场景。为充分利用各个基站的本地数据提高命中率,设计了基于自编码器的协同过滤算法并部署在本文提出的联邦学习框架之中。实验结果表明该系统可以将用户访问资源的命中率提高约11%,有效降低了用户访问网络资源所需的平均时间。
业务为中心的算网资源规划系统设计与实现
这是一篇关于算力网络,资源规划,并发组件化业务,资源竞争的论文, 主要内容为随着各行业数字智能化转型升级进度加快,全社会数据总量呈爆发式增长,同时商业化进程加速,业务需要广泛的数据传输与大量的算力资源来进行基于海量图像、视频、物理设备、网络环境的数据深度分析与处理。为了充分利用算力网络中的异构算力资源,适应日益复杂的功能组件结构,业务与分布式资源进行适配,在算力网络中形成了以增强现实AR游戏为代表的组件化业务。组件化业务由多种功能解耦的不同子任务组成,可以部署到不同的计算节点协同完成计算任务。同时算力网络中大量分布于网络中的计算资源可以提供更多靠近用户的计算节点来承载算力需求,任务部署更靠近终端设备,数据传输和处理更加及时。但是考虑到算力网络中异构资源节点计算性能、可用资源量等存在明显差异,组件化业务中各个子任务所需要的计算资源与运行时产生的存储数据大小也存在明显的不同,现有的算网资源规划机制不能将算力网络环境下异构的云-边-端算力资源与组件化业务的资源需求匹配起来,网络控制面在为多个并发组件化业务部署选择合适计算节点时,子任务执行存在先后顺序,会产生资源的竞争冲突,影响整体业务质量。同时考虑到网络规模扩大会导致资源规划效率降低,资源节点计算能力的改变会导致控制面重新寻找最优资源,使得可供业务分配的算网资源具有不确定性,需要在满足这些差异化需求的条件下,尽可能地优化并发组件化业务的规划资源范围。因此研究算力网络场景下针对多并发的组件化业务的算网资源规划机制具有重要意义。本文首先调研了算力网络场景以及其承载业务,并研究了面向算力网络场景的资源规划算法的国内外研究现状和存在的问题。在此基础上,提出了面向并发业务的基于预留策略的算网资源规划方法。首先提出业务为中心的算网资源预留算法,克服在为并发业务分配算网资源时存在的竞争问题,确定可供业务资源分配的算网资源规模;然后基于预留策略提出算网资源分配方法,使算力网络可以快速地根据现实中具体的业务场景,灵活动态地为业务提供服务,实验表明,在资源预留范围内进行资源分配能够节约大约60.58%至71.43%的时间,提高了算网资源规划效率。在算法研究基础上,本文设计并实现了一种业务为中心的算网资源规划系统,该系统按照模块化方式进行设计开发,能够提供算网一体规划实现方案,提供控制面业务相关的算网资源信息,能够可视化实现算网一体化的资源监视,并对业务、网络、算法信息进行统计分析,为后续算力网络研究提供基础平台。综上所述,本文重点研究了算力网络场景下多并发业务的算网资源规划方法,解决了业务竞争算网资源过程中存在的冲突,提高了算网资源规划效率,并以此为基础设计实现了相应的资源规划系统,从实验仿真与系统实现两方面进行了验证。
面向算力网络的资源感知机制及系统的设计与实现
这是一篇关于算力网络,资源感知机制,带内网络遥测,矢量包处理的论文, 主要内容为算力网络是一种以算力和网络深度融合为基础,提供一体化服务的新型信息基础设施。算力网络可以根据计算业务的需求,结合感知到的实时的算力和网络资源状态,将计算业务调度到最匹配的计算服务节点,从而提高算力、网络资源的利用率。对算力资源状态和网络资源状态的实时感知是合理分配算力和网络资源,实现业务按需调度的基础,也是算力网络中的一项关键技术。感知网络资源状态需要进行网络测量。然而,传统的主/被动测量方式有测量结果间接、收集数据类型有限等固有缺陷,INT(In-band Network Telemetry,带内网络遥测)技术的现有模式不能兼顾测量内容的丰富性和低数据导出开销。算力资源状态感知方面,目前提出的通过扩展BGP路由协议,对算力资源状态信息进行洪泛通告的算力通告方式,会额外产生大量洪泛报文,网络带宽开销较大。针对上述问题,本文设计了一种面向算力网络的资源感知机制,并在此基础上实现了面向算力网络的资源感知系统。该系统可以使算力网络中的入口节点完成对时延、抖动、丢包率这些网络资源状态信息的感知以及对网络边缘计算服务节点的算力资源状态信息的感知。论文的工作主要包括两方面。首先,本文设计了一种新的INT模式即INT-HX(Hybrid Data Export)模式,并在此基础上设计了面向算力网络的资源感知机制。该机制通过混合方式导出INT元数据,在支持时延、抖动、丢包率的逐跳测量的同时,降低了 INT元数据的导出开销。此外,该机制通过INT数据包的转发完成了算力资源状态信息的通告,并且不产生额外的数据包,降低了网络带宽开销。其次,在上述机制的基础上,本文通过VPP(Vector Packet Processing,矢量包处理)平台实现了面向算力网络的资源感知系统。该系统包括资源感知数据层,资源感知管理层和资源感知展示层。实验结果验证了系统的可用性和面向算力网络的资源感知机制的有效性:相比INT的现有模式,该机制支持逐跳丢包率的测量和算力资源状态信息的携带和转发,并且降低了 INT元数据的导出开销。
算力网络中联邦学习框架及其应用实现
这是一篇关于联邦学习,算力网络,资源预缓存的论文, 主要内容为随着移动通信技术的发展与边缘设备数量的激增,传统的集中式机器学习已经满足不了纷繁复杂的应用场景对实时性和数据隐私安全的要求。联邦学习在保护用户隐私和利用边缘算力资源方面有着先天的优势,但依然面临着上行带宽不足,各联邦学习节点算力参差不齐,数据分布不均等问题。为了加速云上集中智能向深度边缘泛在智能演进,让AI在6G中成为一种原生能力而不再是OTT特性,利用算力网络给联邦学习赋能是一个有效且可行的方案。因此本文对算力网络中的联邦学习框架进行了研究,主要贡献包含以下三个方面。一、深入分析了算力网络与联邦学习的特点以及所面临的挑战。针对算力网络中算力资源分配灵活的特点和一般机器学习任务中模型训练与模型推理的关系,设计了一种由三个微服务组成的联邦学习框架,实现了模型训练与推理解耦,满足了算力网络中灵活部署、训练AI的需求。并且对该联邦学习框架的工作流程和各个微服务之间的交互关系进行了设计,实现了在算力网络中灵活高效地进行联邦学习的目的。通过该框架的相关设计,为后文的逐层聚合方案研究、资源预缓存系统的实现奠定了基础。二、在功能方面该联邦学习框架已经在算力网络中实现了联邦学习的基本能力。然而该联邦学习框架忽略了算力网络对资源的感知量化以及编排能力,在性能上尚有很大优化空间。为了解决这一痛点,本文提出了多个利用算力网络的特性提高联邦学习效率的方案。针对算力网络去中心化的特点,基于对等架构的联邦学习提出逐层聚合方案,将聚合过程关于节点数量的时间复杂度由O(n)降低到了 O(log(n));针对算力网络的资源量化与感知能力设计了拓扑结构决策算法,经过实验表明在节点数量达到60时可以将聚合过程用时降低30%;针对联邦学习的隐私特性和算力网络中边缘侧异构算力资源丰富的特点设计了利用分割学习进行训练任务卸载的方法,在本地训练过程中实现了对算力网络空闲算力资源的充分利用。三、随着移动通信技术的飞速发展,用户访问网络资源的瓶颈来到了网络服务器性能以及网络带宽。因此本文对基站处的网络资源预缓存进行了研究,设计了基站处网络资源预缓存的仿真系统,分用户模拟模块和基站模拟模块真实地还原了基站处进行资源预缓存的场景。为充分利用各个基站的本地数据提高命中率,设计了基于自编码器的协同过滤算法并部署在本文提出的联邦学习框架之中。实验结果表明该系统可以将用户访问资源的命中率提高约11%,有效降低了用户访问网络资源所需的平均时间。
面向算力网络的微服务调度策略研究与实现
这是一篇关于算力网络,微服务调度,多维资源,关键路径,边边协同的论文, 主要内容为云计算与边缘计算的快速发展,助力算力从云端下沉到边缘,形成泛在的计算资源。为推动计算和网络资源的深度融合,研究人员提出了算力网络的概念。在算力网络的架构中,算力服务层是联系算力资源和用户需求的桥梁,可基于微服务架构实现,灵活地为用户需求提供特定的服务实例。因此,研究面向算力网络的微服务调度策略,对算力网络的进一步落地实施具有重要的意义。现有工作中,Kubernetes服务编排系统和以Istio为代表的服务网格是云中心主流的微服务部署和调度平台。然而,在微服务部署方面,Kubernetes原生策略的评价指标只包括CPU和内存信息,而未考虑网络、磁盘等其它维度资源的状况,导致资源负载的不均衡;在微服务调度方面,当大量任务需求到达时,由于Istio默认使用轮询机制,缺乏高效算法,容易引起服务调度性能下降。针对上述问题,本文以算力网络架构的服务层为基础,对目前云中心的微服务部署和调度工作开展研究与优化,并将云端提出的优化策略拓展至边缘,实现边缘侧的服务协同。本文的具体工作如下:(1)设计一种融合多维资源的微服务部署优化策略。针对Kubernetes部署微服务时原生策略资源信息利用不充分的问题,本文提出的优化策略拓展了评价指标,增加了网络带宽和磁盘容量等信息,根据待部署服务对多维资源的不同需求动态调整资源权重,并实时监控集群资源状态信息,自适应调整部署节点。实验结果表明,与原生策略相比,本文提出的部署优化策略有助于节点自身和集群整体资源的利用率更加均衡。(2)设计一种基于关键路径算法的微服务调度优化策略。针对Istio使用轮询算法带来的服务调度效率低问题,本文抽象调度问题,构造AOV拓扑图,结合微服务处理时间和代价将其转化为AOE模型,给出基于关键路径算法的求解方案,即以关键路径节点上服务实例完成时间为截止时间,决策出最低代价的服务实例。仿真结果表明,与Istio默认算法相比,本文提出的优化策略可以有效降低服务实例调度的时间和代价。(3)实现边缘侧的微服务调度优化方案。针对现有边缘存在多节点信息维护困难和缺乏细粒度微服务调度能力等问题,本文设计集中式边缘信息维护方案,并适配边缘轻量化服务网格,实现边缘集群的细粒度服务调度。最后,针对边缘资源与云端的差异,将本文所提调度策略进行了适应边缘的调整。结果表明,在边缘侧,本文给出的优化策略仍可有效地实现微服务调度的边边协同。综上,本文对面向算力网络的微服务部署和调度工作进行了优化,提出的部署优化策略能主动适应算力资源的变化,均衡资源的利用率;提出的基于关键路径算法的调度优化策略能显著降低调度时间和成本,且在边缘侧同样具有良好的性能表现。基于以上优化策略,有效地提升了算力网络中微服务的协同处理能力。
面向算力网络的资源监控及预测系统的设计与实现
这是一篇关于算力网络,算力资源感知,监控系统,时序预测的论文, 主要内容为近年来,由于计算需求的不断提高,“云、边、端”协同的三级计算部署方案逐渐普及。算力网络进一步提出将云、边、端中泛在分布的网络、计算、存储资源协同调度,并根据用户需求制定高效合理的算力资源分配和调度策略,以提高服务质量和算力资源利用率。算力资源感知是算力网络的关键技术之一,本文围绕算力资源感知的实现和改进方案,主要进行了以下工作:(1)设计并实现面向算力网络的资源监控系统。算力资源感知可以通过使用资源监控系统来实现。目前常用的资源监控系统由于架构设计或性能方面的问题,不适合监控算力网络场景。本文根据算力网络的特点,提出了面向算力网络的监控系统的设计原则,并据此原则进行资源监控系统的架构设计。本文设计的资源监控系统分为解耦的客户端和服务器端。客户端运行在算力节点上,包含数据采集模块和监控管理模块;服务器端运行在管控中台,包含数据处理模块和运维管控模块。基于以上架构,本文设计并完善了系统各功能的技术方案和实现机制,搭建试验平台,并对系统进行功能测试,验证系统功能运行正常。(2)提出基于Transformer的算力资源预测算法。Transformer算法不仅能够对复杂的数据变化做出预测,还善于处理长序列问题,适合预测算力网络中具有变化频率快、变化规律不明显等特点的资源。因此,本文采用了基于Transformer的预测算法来实现资源数据预测,并针对Transformer在预测时存在的问题,使用对数稀疏策略和卷积自注意力机制进行改进,以提高算法的空间效率和预测效果。为了验证算法的性能,本文进行仿真实验,选取CPU和磁盘I/O两个数据变化具有代表性的指标,将本文使用的改进的基于Transformer的预测算法与ARIMA算法和基于LSTM的预测算法进行效果对比。实验结果表明,本文采用的算法在收敛速度和预测准确性方面表现较好。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码小屋 ,原文地址:https://m.bishedaima.com/lunwen/54733.html