面向算力网络的资源监控及预测系统的设计与实现

这是一篇关于算力网络,算力资源感知,监控系统,时序预测的论文, 主要内容为近年来,由于计算需求的不断提高,“云、边、端”协同的三级计算部署方案逐渐普及。算力网络进一步提出将云、边、端中泛在分布的网络、计算、存储资源协同调度,并根据用户需求制定高效合理的算力资源分配和调度策略,以提高服务质量和算力资源利用率。算力资源感知是算力网络的关键技术之一,本文围绕算力资源感知的实现和改进方案,主要进行了以下工作:(1)设计并实现面向算力网络的资源监控系统。算力资源感知可以通过使用资源监控系统来实现。目前常用的资源监控系统由于架构设计或性能方面的问题,不适合监控算力网络场景。本文根据算力网络的特点,提出了面向算力网络的监控系统的设计原则,并据此原则进行资源监控系统的架构设计。本文设计的资源监控系统分为解耦的客户端和服务器端。客户端运行在算力节点上,包含数据采集模块和监控管理模块;服务器端运行在管控中台,包含数据处理模块和运维管控模块。基于以上架构,本文设计并完善了系统各功能的技术方案和实现机制,搭建试验平台,并对系统进行功能测试,验证系统功能运行正常。(2)提出基于Transformer的算力资源预测算法。Transformer算法不仅能够对复杂的数据变化做出预测,还善于处理长序列问题,适合预测算力网络中具有变化频率快、变化规律不明显等特点的资源。因此,本文采用了基于Transformer的预测算法来实现资源数据预测,并针对Transformer在预测时存在的问题,使用对数稀疏策略和卷积自注意力机制进行改进,以提高算法的空间效率和预测效果。为了验证算法的性能,本文进行仿真实验,选取CPU和磁盘I/O两个数据变化具有代表性的指标,将本文使用的改进的基于Transformer的预测算法与ARIMA算法和基于LSTM的预测算法进行效果对比。实验结果表明,本文采用的算法在收敛速度和预测准确性方面表现较好。

面向微服务的资源优化调度技术研究

这是一篇关于微服务,性能监控,曲线拐点模型,压力测试,时序预测的论文, 主要内容为微服务架构作为当前大中型企业分布式系统的主流开发架构,其服务个体化、精细化的特点,使得应用功能独立,资源边界清晰。相比于单体架构,其可针对负载瓶颈服务进行独立扩容,减少了单体架构垂直扩容产生的资源争用问题。然而当前面向微服务的资源优化调度技术,在保证微服务性能的基础上,缺少对微服务资源需求的定量分析,容易产生冗余资源碎片,造成资源浪费,因此研究微服务资源优化调度技术,对于保证系统性能、合理利用计算资源具有重要意义。本文针对微服务的资源优化调度技术,进行了以下三个方面的研究:(1)设计了一套基于微服务架构的性能监控机制现有微服务监控系统多采用一种或两种监控机制,完成异常数据定位或日常监控运维,但进行微服务资源优化调度,需要收集微服务调用指标、系统负载及资源用量等多方面的性能度量指标,当前所构建的微服务监控系统在监控维度、数据收集等方面不能满足微服务性能监控的数据需求,因此在结合典型微服务架构部署的基础上,分析了微服务系统存在调用关系复杂、访问流量巨大及服务类型多样等众多问题,设计了一套针对微服务调用关系、系统流量和微服务资源利用的全方位性能监控机制,可实时监控微服务性能指标,为下一步进行微服务容器和微服务集群的资源优化调度提供数据支撑。(2)提出了一种面向微服务容器的资源优化调度技术针对当前微服务资源分配依赖于服务类型分析,同时缺少对资源需求的定量评估问题,为此在引入曲线拐点模型的基础上,对CPU和内存资源利用率样本进行函数拟合,通过设计微服务资源利用均衡相似度量化算法,使用两阶段资源均衡调优策略逐步调整资源比例,使微服务资源利用率在不同并发用户数的条件下均能保持一定相似度。进行微服务容器层面的资源垂直扩容,实现针对微服务容器的资源优化调度,为下一步进行微服务集群容器数量的动态伸缩提供均衡容器单位。(3)提出了一种面向微服务集群的资源优化调度技术针对当前微服务集群的水平动态伸缩策略,缺少对伸缩资源数量的定量分析问题,研究生产环境中基于负载变化趋势的容器水平动态伸缩技术,通过引入差分整合移动平均自回归模型(即Autoregressive Integrated Moving Average model,以下简称ARIMA模型)来预测微服务集群的负载变化,同时基于曲线拐点模型定义高性能区间,对集群所需或冗余资源进行定量评估,使得计算资源在微服务集群容器数量层面进行合理优化调度。进行微服务集群容器的水平伸缩,实现针对微服务集群的资源优化调度。通过实验证明了针对微服务集群负载趋势预测的有效性,定义的高性能区间能够保证较高的资源利用率和较低的服务异常,同时将整体设计基于Kubernetes水平Pod自动伸缩(即Horizontal Pod Autoscaler,以下简称HPA)进行模拟测试,通过增压测试验证了其与CPU和QPS等被动响应策略相比,能够提前进行扩容,减少了资源瓶颈的产生。

基于图神经网络的基金收益预测

这是一篇关于基金收益率,基金估值,时序预测,图神经网络的论文, 主要内容为近年来,随着公众金融管理意识的逐步增强,加之金融市场行情火爆,我国基金业发展迅速。中国基金业协会数据显示,从2015年至2020年,我国基金总规模在数量、管理规模和份额规模方面均有显著性提升。随着基金业快速发展,基金收益预测和净值估计问题引起金融市场多方参与者的关注。基金投资者对估值不准的容忍度低,因其择时行为受短期波动影响,申购和赎回操作常参考估值结果;基金销售平台为提升用户体验和使用便捷性,致力于提高净值估计精准度;金融研究员希望从公募基金净值变化推测其持仓变动,从而把握机构投资者对市场的观点变化。以往研究主要使用时间序列分析和回归分析来建模。时间序列方法从基金净值本身的序列特点出发,较少考虑外部性;回归分析在人工挑选与预测目标相关的外部宏观经济变量和金融市场指标时,较少考虑单只基金的细粒度特征。考虑以往研究存在的问题,本文提出可加入基金底层资产的信息,将外部变量精细化到基金粒度,通过图神经网络捕获基金和底层资产之间的关联,提高预测精度。针对以上问题,本文提出了当日收益率预测框架:当交易日即将结束,框架输出当日基金收益率预测结果,使参考者的交易能够以当日基金净值结算。本文在建模时,将基金和其底层资产的关系建立为二部图,提出了基于图神经网络的基金收益预测模型GNNF,模型包含序列嵌入模块、图卷积模块和预测模块。第一,序列嵌入模块通过循环神经网络,对基金净值主时间序列和底层资产价格(股票、债券和货币)子时间序列建模,获取时序上的依赖关系和变化模式,从过往信息中提取对预测目标更有价值的深层特征,将时间序列编码为向量嵌入形式。第二,图卷积模块将底层资产子时序的信息聚合到基金主时序上,使用边权重以平均子时序的向量嵌入,生成新的主时序向量表示。该模块以两种方式生成边连接,识别主子时序之间的交互关系。第一种显式知识嵌入方式,是将基金对股票的持仓比例作为单向边连接权重。从基金公开季报中获取的持仓比例,以季度频率变化,保证了一定的动态边演化性。第二种隐式嵌入方式,是基于注意力机制,以主序列嵌入向量和子序列嵌入向量之间的余弦相似度作为边连接权重,从而能够捕获基金对各底层资产的动态持有比例。图卷积模块最终将两种嵌入转化为新的基金聚合嵌入表示,转化时两种嵌入之间的交互联系,使得持仓权重能够对相似度产生一定影响。第三,预测模块拼接前两个模块的输出,得到最终基金嵌入表示。基于残差网络的思想,将预测目标拆解为直接映射和残差:直接映射通过十大重仓股得到日收益率预测的先验信息;残差通过最终基金嵌入表示变换得到,代表预测日收益率的先验值和真实值的残差,反映基金最新季报公开持仓和实际持仓的差距。预测模块将直接映射和残差预测的结果相加,输出最终日收益率预测。为了验证GNNF模型的有效性,本文收集了A股市场数据进行实验并分析得到结论。首先,各基线模型的对比说明,基于持仓数据的Hold模型显著优于仅使用时序信息的传统时序、机器学习和深度学习模型,预测误差降低75%以上,证明底层持仓股票信息的重要度高;其次,本文提出的GNNF模型预测精度优于Hold模型7%。将不同换手率基金和不同时间段上的实验进行对比,证明了GNNF模型有效识别了基金持仓变化,克服了Hold模型的静态缺点;再者,消融实验设计证明了图卷积模块的有效性,同时使用两种嵌入可获取额外增量信息,仅使用显式知识嵌入的效果较于仅用隐式嵌入更优,公开的基金持仓信息在预测精度具有更大的价值;最后,以实际案例说明模型具有一定可解释性,相似度能识别持仓变动情况。本文展望指出,本研究提出的模型在以下角度仍存在进一步优化空间,包括基金报告的及时性、序列特征的丰富性、序列嵌入的复杂性、基于NLP的新连接边构造。

基于图神经网络的基金收益预测

这是一篇关于基金收益率,基金估值,时序预测,图神经网络的论文, 主要内容为近年来,随着公众金融管理意识的逐步增强,加之金融市场行情火爆,我国基金业发展迅速。中国基金业协会数据显示,从2015年至2020年,我国基金总规模在数量、管理规模和份额规模方面均有显著性提升。随着基金业快速发展,基金收益预测和净值估计问题引起金融市场多方参与者的关注。基金投资者对估值不准的容忍度低,因其择时行为受短期波动影响,申购和赎回操作常参考估值结果;基金销售平台为提升用户体验和使用便捷性,致力于提高净值估计精准度;金融研究员希望从公募基金净值变化推测其持仓变动,从而把握机构投资者对市场的观点变化。以往研究主要使用时间序列分析和回归分析来建模。时间序列方法从基金净值本身的序列特点出发,较少考虑外部性;回归分析在人工挑选与预测目标相关的外部宏观经济变量和金融市场指标时,较少考虑单只基金的细粒度特征。考虑以往研究存在的问题,本文提出可加入基金底层资产的信息,将外部变量精细化到基金粒度,通过图神经网络捕获基金和底层资产之间的关联,提高预测精度。针对以上问题,本文提出了当日收益率预测框架:当交易日即将结束,框架输出当日基金收益率预测结果,使参考者的交易能够以当日基金净值结算。本文在建模时,将基金和其底层资产的关系建立为二部图,提出了基于图神经网络的基金收益预测模型GNNF,模型包含序列嵌入模块、图卷积模块和预测模块。第一,序列嵌入模块通过循环神经网络,对基金净值主时间序列和底层资产价格(股票、债券和货币)子时间序列建模,获取时序上的依赖关系和变化模式,从过往信息中提取对预测目标更有价值的深层特征,将时间序列编码为向量嵌入形式。第二,图卷积模块将底层资产子时序的信息聚合到基金主时序上,使用边权重以平均子时序的向量嵌入,生成新的主时序向量表示。该模块以两种方式生成边连接,识别主子时序之间的交互关系。第一种显式知识嵌入方式,是将基金对股票的持仓比例作为单向边连接权重。从基金公开季报中获取的持仓比例,以季度频率变化,保证了一定的动态边演化性。第二种隐式嵌入方式,是基于注意力机制,以主序列嵌入向量和子序列嵌入向量之间的余弦相似度作为边连接权重,从而能够捕获基金对各底层资产的动态持有比例。图卷积模块最终将两种嵌入转化为新的基金聚合嵌入表示,转化时两种嵌入之间的交互联系,使得持仓权重能够对相似度产生一定影响。第三,预测模块拼接前两个模块的输出,得到最终基金嵌入表示。基于残差网络的思想,将预测目标拆解为直接映射和残差:直接映射通过十大重仓股得到日收益率预测的先验信息;残差通过最终基金嵌入表示变换得到,代表预测日收益率的先验值和真实值的残差,反映基金最新季报公开持仓和实际持仓的差距。预测模块将直接映射和残差预测的结果相加,输出最终日收益率预测。为了验证GNNF模型的有效性,本文收集了A股市场数据进行实验并分析得到结论。首先,各基线模型的对比说明,基于持仓数据的Hold模型显著优于仅使用时序信息的传统时序、机器学习和深度学习模型,预测误差降低75%以上,证明底层持仓股票信息的重要度高;其次,本文提出的GNNF模型预测精度优于Hold模型7%。将不同换手率基金和不同时间段上的实验进行对比,证明了GNNF模型有效识别了基金持仓变化,克服了Hold模型的静态缺点;再者,消融实验设计证明了图卷积模块的有效性,同时使用两种嵌入可获取额外增量信息,仅使用显式知识嵌入的效果较于仅用隐式嵌入更优,公开的基金持仓信息在预测精度具有更大的价值;最后,以实际案例说明模型具有一定可解释性,相似度能识别持仓变动情况。本文展望指出,本研究提出的模型在以下角度仍存在进一步优化空间,包括基金报告的及时性、序列特征的丰富性、序列嵌入的复杂性、基于NLP的新连接边构造。

基于时序预测和多模态融合的自动驾驶3D多目标跟踪算法研究

这是一篇关于自动驾驶感知,多目标跟踪,时序预测,多模态融合,深度神经网络的论文, 主要内容为为了保证自动驾驶车辆对环境的准确感知以及冗余设计,其传感器套件通常都综合了多源异构传感器。一方面,系统因此能获得场景中更丰富的纹理、结构等信息,另一方面,这对传感器软硬件提出了更高的要求。针对该问题,本文探索了融合时序信息、多模态信息对3D多目标跟踪性能的影响,本文主要的工作如下:(1)考虑到激光雷达点云在不同方向的空间分布不一致性,研究了一种正态分布拟合栅格化点云的配准方法,使得多激光雷达的外参求解更能稳定收敛。为了达到多模态数据融合,基于棋盘格角点检测和点云聚类与平面拟合算法,实现了一种自动化的激光雷达与相机外参标定方法。(2)针对传统3D多目标跟踪算法无法充分利用历史状态信息的问题,提出了一种基于时间序列预测的3D多目标跟踪算法,通过内部记忆与外部记忆两个模块实现对目标运动状态建模,并由门控循环单元进行状态更新。将模型输出的预测状态与检测结果构建3D Io U代价矩阵,并由KM算法完成数据关联。对算法各模块在大规模数据集上进行了细致的消融实验,并进行了定量与定性分析。(3)研究了一种融合激光雷达和视觉的数据关联算法,以解决复杂交通场景下因遮挡而导致目标跟踪丢失的问题。首先,为了解决传感器间因视场角差异而无法共视的问题,提出了一种基于中心距离与前景遮挡率的过滤方法。然后将目标重识别任务引入多目标跟踪中的数据关联,基于视觉注意力机制神经网络SwinTransformer和改进的Point Net++,分别从目标图像和点云提取高维特征并拼接。最终,采用高斯核-级联匹配对所有轨迹和检测目标构建关联。(4)搭建了感知多传感器软硬件平台并进行了实车实验。通过对实际采集数据的分析,研究了一系列感知预处理算法:感兴趣区域提取、地面点分割、目标聚类与3D包围框拟合。为了减少3D真值标签的任务量,提出了一种基于全局点云地图的标注方法,便于感知算法在实车上的高效迭代。最终的实验结果验证了本文感知算法的效果。

基于Docker集群的农业云平台资源监测管理系统设计与实现

这是一篇关于农业云平台,Docker集群,资源监测,时序预测,弹性伸缩,自动化部署的论文, 主要内容为随着互联网的普及和云计算技术的发展,越来越多的应用基于云平台技术进行系统部署工作。传统的云平台1.0通常使用虚拟机技术搭建,能够在一定程度上降低软件运维成本,提高安全性。但是这种云平台在虚拟机启动时间和部署新应用等方面表现不佳,而使用Docker容器技术的云平台2.0启动时间更快,且占用的资源更低,尤其在微服务方面表现较好。当前,随着以物联网为代表的新一代信息技术在农业生产实践中的大量应用,各种农业信息系统日益增多,通常需要借助于云平台对这些系统进行集成与管理。特别是随着智慧农业的研究与建设,农业云平台的终端量和其产生的数据量快速增长,业务性密集计算与业务端低算力装备的矛盾表现得较为普遍,智能农业终端往往要借助于云端的算力来完成计算工作。在智慧农业场景下,终端设备除了需要在云平台静态加载应用服务外,还需要在云平台动态加载服务,对短周期数据进行实时决策,基于虚拟机的云平台不能够很好地应对这种应用场景。而基于Docker容器的云平台2.0技术,由于自身优势,更适用于这种场景。当前Docker容器技术仍然存在着资源管理机制不够完善的问题,以及当前的管理系统在动态资源分配方面不够灵活,且无法在保证应用服务质量的前提下最大化系统整体利用率。中原农村信息港是基于虚拟机技术和Docker容器集群技术建设的河南省国家农村信息化示范省综合服务平台,本文以中原农村信息港农业云平台Docker容器集群为研究对象,围绕Docker容器资源管理问题,进行容器资源监测模块设计,构建容器资源预测模型,并在此基础上建立基于Docker集群云平台的资源监测管理系统,实现农业云平台的容器资源实时监测、资源弹性化管理和应用服务自动化部署。主要研究内容包括:(1)设计基于Docker集群的云平台资源监测管理架构。采用c Advisor、Prometheus等技术构建容器集群云平台资源监测架构,实时采集各个容器所使用的系统资源情况,并将这些数据用Influx DB数据库进行持久化存储,为弹性化资源管理提供决策数据。(2)构建基于深度学习的容器资源预测算法。针对该容器集群的CPU、内存等时间序列的监测数据,构建双层LSTM、Attention-LSTM、GRU-LSTM等模型进行资源预测,并根据预测结果实现容器集群的弹性伸缩和异常数据的及时告警。在农业云平台应用场景下,对资源预测模型的运行效率提出较高要求,而GRU-LSTM预测模型的预测时间相较于Attention-LSTM模型效率提高了80%,GRU-LSTM模型预测内存使用率的MSE为0.032,而双层LSTM模型在预测内存使用率的MSE为298.33,相比之下,GRU-LSTM预测效果更好。因此本文选用GRU-LSTM作为系统中容器资源数据模块使用的预测模型。(3)设计应用自动化部署模型。设计基于Jenkins技术的镜像管理和应用自动化部署模型,测试结果表明,能够实现对平台镜像的有效管理和平台应用的自动化部署。(4)综合上述研究结果,构建基于Docker集群的农业云平台资源监测管理系统,进行了中原农村信息港农业云平台资源管理的仿真实验,实验结果表明,该系统可以实现对容器资源监测与可视化展示、资源预测与弹性伸缩调度、应用的自动化部署等管理功能。本文构建的基于Docker容器集群的农业云平台资源监测管理系统,实现了平台资源的有效管理,可以提高平台整体资源利用,可以为农业云平台资源管理提供可借鉴的思路和技术工具支持。

基于Kubernetes的PaaS应用管理平台的设计与实现

这是一篇关于应用管理平台,PaaS,Kubernetes,时序预测的论文, 主要内容为近年来,云化是整个IT行业的主旋律,以云原生、微服务为特征的云化改造方兴未艾,容器、PaaS平台等云化新技术发源于互联网公司,但在电信、电力、石油等传统行业也有广阔的应用空间,本文结合电信行业的应用特点,提出一种基于Kubernetes的PaaS应用管理平台的实现方案。本文的主要工作有:1)针对如何基于Kubernetes来构建PaaS应用管理平台这一问题,给出了整体实现方案,并结合典型的企业应用(电信运营支撑系统)场景,对kubernetes原生不满足要求的两个组件(服务网关和配置管理)给出了详细的替代方案,使得整个方案能够支撑企业复杂的架构和管理需求。2)本文对平台的资源调度这一功能进行了优化,提出一种基于资源使用预测来优化调度的方法。Kubernetes默认的调度算法仅考虑了应用在某一时刻的资源需求量,是静态值。本文引入了机器学习算法(Prophet时序预测算法),根据历史数据预测应用未来的负载特征,并将这个特征应用到调度算法的优先级因子计算中,从而实现更精准的调度,提高资源利用率。本文使用了能够兼容原生调度策略的调度扩展方法,既能使用新增的预测算法来优化调度,又能复用Kubernetes原生的调度策略,因而具有更好的实用性。3)通过搭建测试环境对本文提出的方案进行了验证。基于本文的方案所实现的平台已经在国内外十几个项目上应用,取得了较好的推广应用价值。

基于时序预测和多模态融合的自动驾驶3D多目标跟踪算法研究

这是一篇关于自动驾驶感知,多目标跟踪,时序预测,多模态融合,深度神经网络的论文, 主要内容为为了保证自动驾驶车辆对环境的准确感知以及冗余设计,其传感器套件通常都综合了多源异构传感器。一方面,系统因此能获得场景中更丰富的纹理、结构等信息,另一方面,这对传感器软硬件提出了更高的要求。针对该问题,本文探索了融合时序信息、多模态信息对3D多目标跟踪性能的影响,本文主要的工作如下:(1)考虑到激光雷达点云在不同方向的空间分布不一致性,研究了一种正态分布拟合栅格化点云的配准方法,使得多激光雷达的外参求解更能稳定收敛。为了达到多模态数据融合,基于棋盘格角点检测和点云聚类与平面拟合算法,实现了一种自动化的激光雷达与相机外参标定方法。(2)针对传统3D多目标跟踪算法无法充分利用历史状态信息的问题,提出了一种基于时间序列预测的3D多目标跟踪算法,通过内部记忆与外部记忆两个模块实现对目标运动状态建模,并由门控循环单元进行状态更新。将模型输出的预测状态与检测结果构建3D Io U代价矩阵,并由KM算法完成数据关联。对算法各模块在大规模数据集上进行了细致的消融实验,并进行了定量与定性分析。(3)研究了一种融合激光雷达和视觉的数据关联算法,以解决复杂交通场景下因遮挡而导致目标跟踪丢失的问题。首先,为了解决传感器间因视场角差异而无法共视的问题,提出了一种基于中心距离与前景遮挡率的过滤方法。然后将目标重识别任务引入多目标跟踪中的数据关联,基于视觉注意力机制神经网络SwinTransformer和改进的Point Net++,分别从目标图像和点云提取高维特征并拼接。最终,采用高斯核-级联匹配对所有轨迹和检测目标构建关联。(4)搭建了感知多传感器软硬件平台并进行了实车实验。通过对实际采集数据的分析,研究了一系列感知预处理算法:感兴趣区域提取、地面点分割、目标聚类与3D包围框拟合。为了减少3D真值标签的任务量,提出了一种基于全局点云地图的标注方法,便于感知算法在实车上的高效迭代。最终的实验结果验证了本文感知算法的效果。