基于MB、MQ的订阅发布的设计与实现
这是一篇关于消息中间件,MQ集群,代理克隆,MQI,异步通信的论文, 主要内容为随着计算机网络和分布式应用不断发展,远程消息传递越来越成为应用系统中不可缺少的组成部分。商业消息中间件的出现保证了消息传递的可靠性、安全性和高效率,同时减少了系统开发周期。中间件是处于应用软件和系统软件之间,一种以自己的复杂换取企业应用简单化的可复用的基础软件,它使用系统软件所提供的基础服务和功能,衔接网络上应用系统的各个部分或不同的应用,能够达到资源共享、功能共享的目的。 本应用使用IBM的消息中间-WebSphere Message Broker和WebSphere MQ设计和实现了订阅发布的功能,并给主题发布者和订阅者提供了web注册平台,并设计了一套有效的订阅发布流程,从发布者注册主题、删除主题到订阅者注册订阅、注销订阅。本应用使用了MQ集群技术以实现负载均衡,并使用了代理克隆技术避免单点故障,故而增加了广播消息的可靠性。 本文用Java语言和DB2数据库设计了一个用于订阅发布流程管理的平台及用ESQL语言实现的发布主题消息时用于消息路由和广播的消息流项目,最后模拟发布者和订阅者使用MQI (Message Queue Interface)消息队列接口收发主题消息,使用的是异步通信方式。
基于OPC的工业设备Web监测系统设计与开发
这是一篇关于OPC,异步通信,Socket,WebSocket,工业设备监测系统的论文, 主要内容为随着制造业智能化的发展,使得智能化工业设备的使用规模不断扩大,导致智能化工业设备的数量成倍增加。智能化工业设备是制造企业自动化流水线的物质基础,如果设备发生了故障,将会对整个生产系统的运行造成重大影响。因此确保设备的正常运行在制造业生产系统中占有重要地位。论文基于OPC数据访问技术,设计并开发基于OPC的工业设备Web监测系统,实现工业设备的运行状态监测和设备信息管理功能。论文主要内容如下:(1)在文献查阅的基础上,综述课题的研究背景以及国内外相关研究现状,并详细介绍了基于OPC的工业设备Web监测系统中使用的OPC采集、Socket传输、WebSocket动态交互、SSM框架、MySQL数据库技术等关键技术。(2)在对柔性制造综合实训平台实地调研后,根据对实训平台中加盖装置的设备信息和设备的运行流程,分析出系统的开发目标和系统的实际功能需求,设计出系统的网络拓扑结构、层次结构、技术路线。(3)根据系统功能需求分析,将系统划分为设备数据采集处理、数据传输、监测显示三个模块。其中设备数据采集处理模块针对设备数据特征对监测效果的影响问题,将设备的信号采集设计为异步和同步两种采集方式;数据传输模块完成了监测数据有效传输的设计;设备监测显示模块完成了设备运行状态监测和设备信息管理功能的设计。此外,结合系统的功能和数据存储查询的需求完成数据库设计。(4)基于OPC的工业设备Web监测系统是一个由OPC数据采集软件、Web服务器组成的B/S和C/S混合架构的监测管理系统。系统基于MFC框架开发设备数据采集处理模块,实现了数据分类采集。基于Socket和WebSocket开发数据传输模块,实现监控数据的传输。基于SSM框架搭建Web服务器开发监测显示模块,实现设备运行状态监测和设备信息管理功能。经测试,本文所设计的系统能够稳定运行,反应良好,证明该系统可行有效。
面向深度学习的去中心化训练算法及通信优化研究
这是一篇关于分布式深度学习,去中心算法,异步通信,数据并行,All Gather通信算法的论文, 主要内容为深度学习已经在计算机视觉、自然语言处理、语音识别等领域中取得了显著的成功。由于数据集和模型的增大,单机训练深度神经网络需要巨大的计算资源,因此在单台服务器上进行训练变得不再实际。目前,分布式深度学习成为提高模型训练效率的重要途径,然而,中心化算法和去中心化算法作为两个经典的分布式训练算法,存在通信开销过大和算力资源利用率不高的问题。为了解决上述问题,本文提出了一种分布式梯度下降算法AD-PEXTRA,主要贡献如下:(1)提出了一种基于权重副本的异步去中心化训练算法。针对现有的中心化算法的中心节点通信代价过大和去中心化算法需频繁同步的问题,本文设计了一种异步的去中心化算法。首先,当前轮次迭代引入历史网络权重和梯度信息参与计算,使得算法可以采用固定学习率进行梯度计算。其次,引入预训练阶段,避免模型训练过程中产生精度波动,保证算法的稳定性。然后,工作节点开辟一块物理空间,存储当前模型权重,下一轮训练使用权重副本计算梯度。最后,异步执行工作节点的计算与通信操作,最大化算力资源(GPU、TPU等)的利用率。(2)提出了一种基于拓扑优化的细粒度通信算法。针对分布式集群通信成本过大导致工作节点算力资源利用率不高的问题,本文构建了一种基于拓扑优化的细粒度通信算法。首先,感知分布式集群中工作节点间的拓扑关系,生成带权重的邻接矩阵。其次,根据生成的邻接矩阵探索可能的通信方案,建立多叉树进行表示,并搜索最优的通信方案。然后,对深度神经网络的参数张量分组,减少单次通信的消息长度,增加并行可能。最后,工作节点以最优方案为基础,使用All Gather算法与邻居节点交换数据,充分利用节点间的高带宽连接。本文所提出的算法基于MXNet和Horovod框架实现,所有实验均在配有8个GPU的服务器上进行,并以D-PSGD和All-Reduce SGD为基准,采用标准数据集MNIST、CIFAR 10、Image Net 100分别对Mobile Net＿V2、Res Net18＿V2、VGGNet16、VGGNet19进行了评估。最终的实验结果表明,AD-PEXTRA算法显著加速了深度神经网络在分布式环境中的训练速度,同时确保了模型的收敛精度。基于Res Net18＿V2神经网络模型和CIFAR 10数据集上的实验,AD-PEXTR算法相较于All-Reduce SGD的加速比为1.5×。综上所述,本文提出的去中心化算法对提高深度神经网络的训练速度发挥了有效的作用,具有广阔的应用前景。
基于OPC的工业设备Web监测系统设计与开发
这是一篇关于OPC,异步通信,Socket,WebSocket,工业设备监测系统的论文, 主要内容为随着制造业智能化的发展,使得智能化工业设备的使用规模不断扩大,导致智能化工业设备的数量成倍增加。智能化工业设备是制造企业自动化流水线的物质基础,如果设备发生了故障,将会对整个生产系统的运行造成重大影响。因此确保设备的正常运行在制造业生产系统中占有重要地位。论文基于OPC数据访问技术,设计并开发基于OPC的工业设备Web监测系统,实现工业设备的运行状态监测和设备信息管理功能。论文主要内容如下:(1)在文献查阅的基础上,综述课题的研究背景以及国内外相关研究现状,并详细介绍了基于OPC的工业设备Web监测系统中使用的OPC采集、Socket传输、WebSocket动态交互、SSM框架、MySQL数据库技术等关键技术。(2)在对柔性制造综合实训平台实地调研后,根据对实训平台中加盖装置的设备信息和设备的运行流程,分析出系统的开发目标和系统的实际功能需求,设计出系统的网络拓扑结构、层次结构、技术路线。(3)根据系统功能需求分析,将系统划分为设备数据采集处理、数据传输、监测显示三个模块。其中设备数据采集处理模块针对设备数据特征对监测效果的影响问题,将设备的信号采集设计为异步和同步两种采集方式;数据传输模块完成了监测数据有效传输的设计;设备监测显示模块完成了设备运行状态监测和设备信息管理功能的设计。此外,结合系统的功能和数据存储查询的需求完成数据库设计。(4)基于OPC的工业设备Web监测系统是一个由OPC数据采集软件、Web服务器组成的B/S和C/S混合架构的监测管理系统。系统基于MFC框架开发设备数据采集处理模块,实现了数据分类采集。基于Socket和WebSocket开发数据传输模块,实现监控数据的传输。基于SSM框架搭建Web服务器开发监测显示模块,实现设备运行状态监测和设备信息管理功能。经测试,本文所设计的系统能够稳定运行,反应良好,证明该系统可行有效。
基于Kafka的消息发布订阅服务的设计与实现
这是一篇关于微服务,Kafka,消息发布订阅,异步通信的论文, 主要内容为网易严选电商系统基于微服务架构进行设计与开发,按照业务逻辑的不同被拆分成一组可以独立开发与部署的微服务,服务之间通过HTTP调用和RPC这两种轻量级通信方式来实现相互通信。但这两种通信方式都属于同步点对点通信的范畴,会造成服务之间存在高耦合、请求易阻塞以及请求无缓冲等缺陷。随着服务规模的不断扩张以及服务请求量的急剧增加,这些缺陷也被不断地放大从而影响着整个系统的性能和稳定性。为了解决上述问题,我们开发了消息发布订阅服务(简称MPS),扩展了微服务之间的通信方式,提供了服务与服务之间异步通信的能力。MPS采用具有高吞吐率以及高可用性特点的消息中间件Kafka作为消息存储与消费的底层技术支持,并在Kafka定义的Topic基础上提出了逻辑Topic的概念作为消息发布订阅的基本单元。本文主要介绍消息发布订阅服务的设计与实现,将该服务划分成服务接入管理、消息生产、消息消费推送、消息失败处理以及缓存等五个模块。服务接入管理模块负责管理接入MPS的外部服务、外部服务创建的逻辑Topic以及对逻辑Topic的订阅等信息。消息生产模块负责将外部服务发布到MPS的消息持久化存储到Kafka集群中。消息消费推送模块通过对Kafka集群中的消息进行消费并主动推送给外部服务来简化外部服务的消息获取逻辑。消息失败处理模块针对消息推送失败的情况提供了容错机制来避免消息丢失。缓存模块通过对数据库中的相关数据进行缓存来提高查询效率。目前消息发布订阅服务初始版本已经开发完成并被部署到生产环境中,越来越多的服务通过与MPS对接实现了性能和调用关系的优化。
基于消息队列的账单聚合系统的设计与实现
这是一篇关于微服务,高可用,低耦合,Kafka,异步通信,消息中间件,服务管理的论文, 主要内容为苏宁金融系统拥有支付、贷款、投资理财、储值卡、保险等业务,为了分析用户理财行为,获取订单数据,需将用户在不同业务系统下的订单进行聚合管理。而苏宁金融系统也基于微服务架构,各个业务系统也是独立开发部署。微服务之间的调用则是通过HTTP调用和RPC这两种通信方式来实现,但是这两种通信方式都存在很多问题,比如在高并发情况下易造成堵塞,各个系统间存在耦合度过高的问题。随着业务规模的发展,这两种通信方式也严重影响着整个系统稳定性和可扩展性。为此解决上述问题我们开发了基于消息队列的账单聚合系统(Bill Aggreagation System,简称BAS)来实现对各个业务系统的账单详情进行聚合管理服务。BAS基于具有高可用性和高吞吐特性的Kafka作为消息中间件,通过异步消息服务来提高微服务之间通信的稳定性和可靠性,降低各服务间的耦合度。并且针对Kafka在Topic数量增多情况下消息处理效率降低的问题提出了映射虚拟Topic的解决方案。本文主要介绍账单聚合系统的设计与实现,BAS可以被划分成账单服务接入管理,账单推送管理,账单订阅管理和账单推送失败补偿管理四个功能模块。其中账单服务接入管理模块负责处理外部服务系统与BAS系统的对接,包括管理接入BAS的外部服务系统信息,管理外部服务系统对应的虚拟Topic的创建和订阅。账单推送管理模块负责把账单数据持久化,该模块封装了Kafka消息生产部分的操作逻辑。账单订阅管理模块负责将账单推送到对应订阅系统中,同时也会监控账单的消费过程。账单推送失败补偿模块提供消息推送失败后的处理操作,支持消息重新推送功能,提高BAS系统的可用性。在系统开发完成后,对各项功能进行了测试,经测试各项功能均到达设计要求,性能和稳定性也达到预期,达到上线生产环境的各项指标要求。目前BAS已经部署到苏宁金融微服务架构中,大大提高了采集各个业务系统账单数据的效率,能根据用户行为更精准的推送定制化服务,提高了用户体验。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设工坊 ，原文地址：https://m.bishedaima.com/lunwen/53130.html
