基于SDN的流量探测与动态调度系统设计与实现
这是一篇关于流量调度,SDN,服务质量,大象流,老鼠流的论文, 主要内容为数据中心内部服务器之间存在巨大的流量传输,根据流量特点可以划分为对吞吐量敏感的大象流和对时延敏感的老鼠流。两种流量存在队列缓存、链路带宽等资源竞争,需要进行动态调度。不同于传统网络架构,软件定义网络(Software Defined Network,SDN)能集中获取全局网络资源、方便制定动态调度策略。因此,为提高大象流和老鼠流的服务质量,本文设计、实现了一个基于SDN的流量探测与动态调度系统,主要工作如下:(1)本文提出了一个大象流调度算法,简称为PER-DDQN(Prioritized Experience Replay Double Deep Q-Network),为探测到的大象流生成一条从客户端到服务端的大象流路径。将大象流路径决策近似为一个马尔可夫决策过程,在DQN(Deep Q-Network)算法基础上,通过加入Double DQN机制矫正动作价值的偏值,通过加入优先经验回放机制帮助学习重要样本。经实验验证,本文提出的PER-DDQN大象流调度算法在吞吐性能上优于ECMP算法、Hedera算法和DQN算法。(2)本文提出了一个老鼠流调度算法,简称为PSO-ALM(Particle Swarm Optimization Adding Lazy Mechanism),为聚簇老鼠流生成分发路径。通过全局的老鼠流调度模型,实现全局链路负载均衡;使用Open Flow组表功能,充分利用源边缘交换机到目的边缘交换机的各等价最短路径;在粒子群(Particle Swarm Optimization,PSO)算法的基础上通过加入懒惰粒子机制,最大化各路径带宽分配的总收益。经实验验证,本文提出的PSO-ALM老鼠流调度算法在时延性能上优于ECMP算法、Mice Trap算法,同时PSO-ALM算法比蚁群算法更适合该老鼠流调度模型。(3)在上述研究的基础上设计实现了基于SDN的流量探测与动态调度系统,通过主动发现主机方法进行了提前流定义,通过sFlow-RT技术实现了流量可视化以及大象流探测,通过提出的Floyd-DFS方法实现了获取客户端到服务端之间的各等价最短路径。综上,本文实现了一个综合考虑大象流吞吐量、老鼠流时延的数据中心内部流量调度系统。测试结果表明,本文设计实现的系统是有效的,能够综合考虑大象流吞吐量和老鼠流时延。
基于SDN数据中心网络的负载均衡子系统的研究与实现
这是一篇关于软件定义网络,负载均衡,强化学习,流量调度的论文, 主要内容为近年来,我国云计算、大数据等技术发展迅猛,导致数据中心网络中的流量正在飞速增长。面对庞大的网络数据流量,如何合理地调度网络中的流量来实现网络资源的负载均衡,是目前的研究热点之一。传统数据中心网络由于无法获取当前网络的状态,通常采用静态调度策略,这种调度策略易把多条大象流调度到同一条路径中从而导致网络负载不均衡,无法充分利用网络资源,使得网络的性能受到影响。软件定义网络(Software Defined Network,SDN)能够将传统网络设备的控制功能分离到控制器中,然后通过控制器获取网络状态,从而根据当前状态动态的进行流量调度,可以很好的解决上述问题。因此,本文主要通过利用SDN技术研究数据中心网络的负载均衡问题。本文首先提出一种基于高响应比优先的动态流量调度算法,针对传统静态流量调度方法中存在的问题,该算法会综合考虑流量特征以及当前网络状态来进行流量调度。首先算法会根据数据流的大小以及等待时间来计算当前流的响应比,每次选择响应比最大的流计算从源端到目的端的最短路径集合,然后综合考虑当前网络时延、路径的可用带宽和路径的平均剩余带宽来计算每条路径的权重,从而根据权重来选择最优路径,实现网络链路的负载均衡。通过仿真实验证明,相比于传统的调度算法,该算法在吞吐量、平均时延上都有一定程度的效果提升。由于数据中心网络中流量具有突发性以及不稳定性的特点,只通过初始化的调度算法无法避免网络拥塞的发生,针对该问题,本文提出一种基于DDQN(Double Deep QNetwork)实现的负载均衡算法,该算法会定时检测当前的网络状态,当发现链路的负载大于设定的阈值时,计算全网的链路剩余带宽的方差,当链路剩余带宽的方差也超过阈值时,说明当前网络的负载不均衡,则筛选出当前链路中的大象流集合,利用大象流集合、当前网络的状态以及每条流的路径集合来训练DDQN模型,最后利用训练完成的模型来为每条流选择最优路径。通过仿真实验证明,该算法能够在一定程度上降低网络拥塞的发生,能够有效的提高网络吞吐量以及链路的利用率。最后在上述算法模型的基础上,本文设计并实现了一个基于SDN数据中心网络的负载均衡子系统,为前面的算法研究提供平台工程支持,并通过Web应用的方式提供给网络管理人员使用。本文对系统的总体设计、各个功能模块的设计与实现以及典型的工作流程进行了具体的介绍,并对平台的原型系统进行部署与测试。测试结果表明,该系统能够为网络管理人员提供可视化界面,使其能够清晰的观察到网络中各链路的负载情况,让网络管理人员能够更加合理的利用网络资源。
星地融合网络数据中继业务调度方法的设计与实现
这是一篇关于星地融合网络,中继业务调度,流量调度,低轨星座路由的论文, 主要内容为随着世界各国航天器数量的增加,星地融合网络的中继业务规模也日益庞大,这对中继卫星资源的调度提出了挑战,需要研究符合实际应用场景的中继卫星调度模型以及快速稳定的求解算法。中继业务根据服务主体可分为高轨中继和低轨中继。传统的高轨中继业务基于时间窗进行调度,但大多基于静态时间窗口,灵活性不足、资源利用率较低。现有的低轨星座逐渐成熟,作为新出现的中继业务应用载体,在传输速率与时延方面比高轨中继更有优势,但是其网络拓扑的复杂度和动态性,限制了卫星星座的中继性能。针对以上背景和问题,本文提出了基于动态天线设置时间的高轨卫星中继业务调度算法和面向卫星网络负载均衡的低轨星座中继业务调度算法并设计相应的仿真系统进行验证。主要工作如下:1)基于动态天线设置时间的高轨卫星中继业务调度算法。综合考虑了中继业务的时空特征,将原本只是基于时间窗的调度问题,拓展为以天线指向为空间描述的天线指向路由问题。先是使用高效的启发式算法构造和优化整个中继调度周期的天线指向路由,然后通过可拆分业务调度,优化指向路由,生成最终的中继业务调度方案。2)面向卫星网络负载均衡的低轨星座中继业务调度算法。首先建立巨型低轨星座中继业务场景的问题模型。结合低轨星座网格状网络特点,提出等效多路径分流的方式,实现了流量的灵活分流,保证了整体网络的流量负载的均衡分布。基于多路径分流和网络流量分布情况,设计了集中式的流量调度算法,通过分层筛选策略,依次完成业务流量调度。3)卫星中继业务调度仿真系统的设计开发。通过完备的需求分析,将系统分为业务生成、业务调度及星座模拟三个模块进行开发。深入探究各个模块的业务交互流程和背后的逻辑设计。最后对卫星中继业务调度仿真系统进行黑盒测试,满足了设计的需求目标。综上所述,本课题所提出的基于动态天线设置时间的高轨中继业务调度算法,有效降低了天线设置时间,显著提高了业务调度数量和资源利用率;同时在低轨星座中继方面,基于星座拓扑特点,设计了等价多路径分流的策略,最终实现卫星网络的负载均衡,并在一定程度上降低了链路被过度占用而导致拥挤的情况。
基于Flowlet的数据中心流量调度优化
这是一篇关于数据中心网络,流量调度,非对称拓扑的论文, 主要内容为越来越多的应用程序(例如Web搜索,数据挖掘和推荐系统)部署到数据中心,同时它们越来越依赖于高性能数据中心网络来满足用户不断增长的服务体验质量要求。现有的流量调度方法都是建立在假设数据流的信息已知(如大小和截止时间)或拓扑为对称拓扑(如Fat-Tree等)的情况下。但在实际生产过程中,数据流的信息是很难在开始发送时获取到,即使是准确的预测也是十分困难的。在这种情况下,最小化数据中心网络中的平均流完成时间是一个巨大的挑战。现有的解决方案可以潜在地提供理想的性能,但是它们需要特殊的硬件支持或者对服务器和主机端的TCP/IP协议栈进行修改,而这在实践中是很难实现。本文为具有非对称拓扑挑战的数据中心网络提出了一种基于Flowlet的信息不可知情况下的流量调度机制。该方法的实现是轻量级但有效的,不需要对服务器和主机端的TCP/IP协议栈进行修改。主要思想是利用交换机中的多个优先级队列,在Flowlet级别进行调度,动态降低数据流的优先级。更具体地说,数据流最开始被赋予最高的优先级,然后根据其已发送的Flowlet的数量逐渐降低其优先级,以模拟最短的作业优先原则。接着本文将最小化平均流完成时间问题建模为一个非线性比率和问题,并设计了两种启发式方法来得出次优的降级阈值。实验结果表明,与最新的流量调度方法相比,在实际工作负载下,提出的方法可以降低平均流完成时间多达15.35%。接着本文考虑到静态阈值不匹配问题可能带来的性能损失,以及静态阈值的更新周期较长,在前文工作上基础上提出了基于深度强化学习的信息不可知流量调度方法,将最小化平均流完成时间问题建模为一个深度强化学习问题,改进了深度确定性策略梯度方法来训练该模型。实验结果表明,基于深度强化学习的方法在实际工作负载下可以将平均流完成时间降低多达10.4%。
面向5G核心网用户面的流量调度系统设计与实现
这是一篇关于5G核心网,带内网络遥测,流量调度,蚁群算法的论文, 主要内容为近年来,随着5G网络的大规模部署和商用,移动数据流量快速增长,各类新型网络应用不断涌现。庞大的流量负载和新型网络应用带来的多样化业务需求给移动运营商带来了巨大的网络运维压力。如何针对5G核心网用户面的流量进行合理调度,保障用户体验已经成为移动运营商亟待解决的关键问题。因此,本文设计并实现了面向5G核心网用户面的流量调度系统。该系统以多类型、高实时性、高精度的5G核心网用户面网络状态信息为数据基础,对用户面PDU会话流量进行合理调度,提高网络服务质量。所以流量调度系统主要分为网络状态感知子系统和路由决策子系统。网络状态感知子系统通过带内网络遥测技术实时感知5G核心网的各项网络状态信息。该子系统将5G核心网用户面GTP-U数据包的转发和网络测量结合,将网络遥测信息插入GTP-U数据包的扩展头部中,以此实现网络状态的随路测量并保证良好的兼容性。路由决策子系统负责对UE发起的PDU会话规划合理的路由路径。本文设计并实现了优化的蚁群算法用于流量调度(IACO-TS)。针对原有蚁群算法初期寻优能力不足的问题,本文提出的优化蚁群算法改进了信息素的初始化方式并提出了基于最大最小蚁群系统和精英蚂蚁策略的信息素更新方式。除此之外,该算法还将5G核心网用户面的链路带宽、时延等网络状态信息引入启发函数和信息素计算函数中,从而实现基于当前网络状态的智能路由决策。本文将已实现的流量调度系统部署于开源5G核心网Free5GC上,搭建网络拓扑并进行相应的功能测试与分析。实验结果表明,本文实现的流量调度系统能以较小代价实时感知5G核心网用户面的链路时延、UPF实时端口速率、UPF处理时延等相关网络状态信息。该系统能够通过本文提出的算法对UE发起的PDU会话流量进行合理调度,并在时延、吞吐量、丢包率等性能参数上优于传统流量调度方式,提高了 5G核心网用户面的网络服务质量。
面向RoCE网络的乱序处理方法研究及控制器设计
这是一篇关于数据中心网络,RDMA,流量调度,选择性重传,乱序恢复控制器的论文, 主要内容为远程直接内存访问(Remote Direct Memory Access,RDMA)允许用户空间应用程序直接读取或写入远程内存,实现内核旁路与内存零复制,因其高带宽和低延迟特性,RDMA在数据中心网络中广泛使用。在此背景下,乱序数据包的处理变成了数据中心网卡必须面对的问题。然而,时下主流的数据中心RDMA网卡对乱序包敏感而无法与流量调度机制相配合,这限制了RDMA网卡的传输效率与适用范围。因此,论文分析了相关技术,并提出改进的RoCE选择性确认算法(Selective Acknowledge RDMA over Converged Ethernet,SACK-RoCE)以实现RDMA的乱序检测与恢复机制。在此基础上,本论文还对RDMA乱序恢复控制器进行了硬件架构设计,增强其可靠传输性能。本文的主要工作如下:(1)针对RDMA协议在数据中心网络应用过程中遇到的问题,论文分析与总结现有乱序恢复算法和相关机制,设计SACK-RoCE算法。该算法使用了2位位图进行数据包追踪以准确找到乱序数据包,设置了对乱序孔洞计时的方法判断是否丢包,还改进了SACK帧帮助发送端进行选择性重传。从资源消耗方面来看,SACK-RoCE相比IRN等算法减少了30%以上的额外存储空间,降低了算法的部署和调试成本,拓展了RDMA的适用场景。(2)在SACK-RoCE的基础上,论文设计了RDMA乱序恢复控制器。控制器被划分为位图管理、乱序检测和重传属性管理三个部分。为了满足数据中心单个控制器进行多连接快速处理的需求,RDMA乱序恢复控制器设置了16引擎并行的方式进行数据处理,多引擎处理与引擎分配模块的配合减少缓存颠簸的发生,增强了其处理并发流量的能力。另外,本文还设置了页表对象管理机制和自由列表管理机制。总之,RDMA乱序恢复控制器共使用171.2KB的片上存储资源,完成了对256K个链接资源的访问加速。(3)论文通过NS-3仿真平台,对SACK-RoCE算法进行仿真,实验结果表明SACKRoCE在丢包率为1%的有损网络环境下仍能保持87.5%的有效吞吐量。在真实负载仿真中,SACK-RoCE的平均FCT、尾部FCT和平均Slowdown指标相比IRN有12.05%～22.32%的提升。此外,本文在可编程逻辑门电路(Field Programmable Gate Array,FPGA)上实现了RDMA乱序恢复控制器的硬件设计,并仿真验证其功能。硬件的综合性能测试证明控制器能够达到40Gbps网卡端口带宽并支持512个链接并发,满足数据中心部署RDMA的网络控制器(RDMA enabled Network Interface Card,RNIC)的需求。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码项目助手 ，原文地址：https://m.bishedaima.com/lunwen/55100.html
