基于新型光纤的通信系统仿真模拟软件设计和实现

这是一篇关于新型光纤,少模光纤,光纤通信仿真模拟,并行计算,图计算的论文, 主要内容为随着互联网技术的不断发展,人们对网络流量的需求也在不断增加。传统单模光纤的传输容量已经达到了理论的上限,在数据中心互联和光接入网等地方不足以支撑其较大的数据流量传输。以少模光纤(FMF)为代表的新型光纤,利用了模分复用技术成倍提高了单根光纤的传输容量,其中弱耦合FMF在短距离传输时可以不需要复杂的光接收机和光发射机,成为了未来大流量短距离通信系统的首选光纤之一。由于光波在FMF中传输受到了色散、衰减和各种非线性效应的影响加上传输条件不理想导致的模间串扰使得FMF的仿真模拟变得困难。新型光纤的应用也较少。因此,有必要开发一款专门针对新型光纤的光通信仿真模拟软件,节省新型光纤的应用成本、辅助光通信系统设计人员对基于新型光纤的光通信系统进行设计。本文针对基于弱耦合FMF的光通信系统的仿真需求展开研究,设计了光波在弱耦合FMF中传输的模型,提出了基于矩阵库加速的快速计算算法,并且完成了基于新型光纤的通信系统仿真模拟软件的设计、开发与测试工作。论文的主要工作和成果如下:1、研究了光在弱耦合FMF中的传输理论,考虑了衰减、三阶色散、自相位调制(SPM)、交叉相位调制(XPM)、四波混频(FWM)等效应对光波的影响,设计了弱耦合FMF的传输模型。2、提出了弱耦合FMF模型的快速计算算法。该算法在分步傅里叶算法的基础上把计算步长划分为更小的区间,区间之间的利用并行算法独立计算,同时将模间串扰项表示为矩阵向量乘法的形式利用矩阵库进行加速计算。3、提出了基于图计算的光纤通信系统仿真控制方式。该方式通过将光纤通信拓扑网络转换为图的形式,然后利用广度优先搜索的思想将图划分出一个子图,子图包含了多个互相独立的仿真器件可以并行计算。当一个子图计算完毕后,可以快速划分出下一个子图,从而实现光纤通信系统的仿真控制。4、设计和实现了光纤通信系统模拟仿真软件,设计了光纤通信系统模拟仿真软件的功能和架构,完成了图形用户界面、网络交互模块、仿真控制模块、系统配置模块和可扩展器件库的开发,经过测试,该软件具有可靠性高、操作方便、扩展性强和跨平台等优点。

基于FPGA的暗通道先验去雾算法研究与实现

这是一篇关于暗通道先验,视频去雾,实时性,并行计算,双尺度最小值滤波的论文, 主要内容为雾天条件下,成像设备采集到的图像、视频都会发生一定程度的降质,导致图像中的目标信息模糊难以辨识,对成像设备在目标检测识别与跟踪、遥感观测等领域的应用产生不良影响,因此对数字图像去雾技术的研究具有重要意义。目前去雾算法的研究取得了较大的进展,但是现有算法对光晕效应以及白亮区域的色彩失真处理仍存在不足,并且算法的计算复杂度较高,极大地限制去雾算法的工程应用。随着现场可编程逻辑门阵列(Field Programmable Logic Gate Array,FPGA)的性能越来越突出,在图像处理领域应用案例日渐增多,基于FPGA的实时去雾系统的研究逐渐成为热点。现有去雾系统处理的图像分辨率较低,系统的鲁棒性和实时性也存在较大缺陷。为解决上述的问题,本文设计了一种对光晕效应以及白亮区域的色彩失真处理效果良好的去雾算法,结合本文算法设计一套基于FPGA的实时去雾系统。本文的主要工作包括3个方面:(1)基于暗通道先验的去雾算法设计。基于传统暗通道去雾算法的研究,着重分析了暗通道先验去雾算法中参数的选取对去雾效果的影响以及暗通道先验算法的不足。针对去雾后的光晕效应,本文设计双尺度最小梯度滤波方法求取透射率,使用不同尺度的窗口求取暗通道图,进而求解出透射率图,精简了透射率处理过程,同时有效解决了光晕效应;针对白亮区域色彩失真问题,本文设计基于阈值分割的透射率补偿方法,采用经验值加串口微调的方式设置阈值,实现对透射率的补偿,避免了白亮区域透射率的过低估计,在一定程度解决白亮区域的色彩失真问题;针对大气光值估算复杂的问题,设计基于亮度直方图统计的大气光值估算方法。对于图像去雾过程,该方法有效地降低大气光值的计算复杂度。对于视频去雾过程,根据帧间相关性对帧间的大气光值进行平滑,有效地解决了大气光值跳变引起的视频帧闪烁问题。(2)基于FPGA的去雾算法再设计。本文设计了一套基于FPGA的去雾系统硬件平台,以HDMI输入或者相机作为系统输入,FPGA作为核心处理单元,以HDMI作为系统输出。结合FPGA的高并行以及流水线优势对算法部分步骤进行再设计。根据视频相邻帧的关联,基于前一帧计算的透射率和大气光值,完成当前帧的去雾,达到实时视频去雾效果,提高算法计算效率,具有较高的实用性。在双尺度求取暗通道过程中,对于最值串行排序运算延迟较大的问题,采用面积换速度的思想,降低6个时钟周期延迟;FPGA不适合进行浮点运算,耗费逻辑资源较多,因此将颜色空间变化等操作中的浮点数运算转换为定点数运算;图像复原、透射率计算等步骤中涉及大量的除法运算,将除法运算用移位运算代替。以上几点的改进在保障资源消耗平衡的同时,还能够提高算法执行速度。(3)去雾系统FPGA实现与系统测试。本文基于FPGA硬件平台对系统的各部分逻辑实现并且进行功能仿真。对系统功能进行测试,从主观感受和客观定量两个角度进行分析评价,结果表明本文设计的算法具有比传统算法更好的去雾效果,对光晕效应和色彩失真处理更好。本文基于FPGA系统实现的去雾算法结果相较于Matlab的仿真结果,在图像质量降低较小的情况下,对1920×1080的视频图像去雾帧率可达60fps,系统总功耗不超过5W,能应用在低功耗领域。

基于新型光纤的通信系统仿真模拟软件设计和实现

这是一篇关于新型光纤,少模光纤,光纤通信仿真模拟,并行计算,图计算的论文, 主要内容为随着互联网技术的不断发展,人们对网络流量的需求也在不断增加。传统单模光纤的传输容量已经达到了理论的上限,在数据中心互联和光接入网等地方不足以支撑其较大的数据流量传输。以少模光纤(FMF)为代表的新型光纤,利用了模分复用技术成倍提高了单根光纤的传输容量,其中弱耦合FMF在短距离传输时可以不需要复杂的光接收机和光发射机,成为了未来大流量短距离通信系统的首选光纤之一。由于光波在FMF中传输受到了色散、衰减和各种非线性效应的影响加上传输条件不理想导致的模间串扰使得FMF的仿真模拟变得困难。新型光纤的应用也较少。因此,有必要开发一款专门针对新型光纤的光通信仿真模拟软件,节省新型光纤的应用成本、辅助光通信系统设计人员对基于新型光纤的光通信系统进行设计。本文针对基于弱耦合FMF的光通信系统的仿真需求展开研究,设计了光波在弱耦合FMF中传输的模型,提出了基于矩阵库加速的快速计算算法,并且完成了基于新型光纤的通信系统仿真模拟软件的设计、开发与测试工作。论文的主要工作和成果如下:1、研究了光在弱耦合FMF中的传输理论,考虑了衰减、三阶色散、自相位调制(SPM)、交叉相位调制(XPM)、四波混频(FWM)等效应对光波的影响,设计了弱耦合FMF的传输模型。2、提出了弱耦合FMF模型的快速计算算法。该算法在分步傅里叶算法的基础上把计算步长划分为更小的区间,区间之间的利用并行算法独立计算,同时将模间串扰项表示为矩阵向量乘法的形式利用矩阵库进行加速计算。3、提出了基于图计算的光纤通信系统仿真控制方式。该方式通过将光纤通信拓扑网络转换为图的形式,然后利用广度优先搜索的思想将图划分出一个子图,子图包含了多个互相独立的仿真器件可以并行计算。当一个子图计算完毕后,可以快速划分出下一个子图,从而实现光纤通信系统的仿真控制。4、设计和实现了光纤通信系统模拟仿真软件,设计了光纤通信系统模拟仿真软件的功能和架构,完成了图形用户界面、网络交互模块、仿真控制模块、系统配置模块和可扩展器件库的开发,经过测试,该软件具有可靠性高、操作方便、扩展性强和跨平台等优点。

基于微服务的工业设备边缘管控平台设计

这是一篇关于边缘计算,微服务,管控平台,故障诊断,并行计算的论文, 主要内容为工业设备管控主要包括设备的状态监测、控制、故障诊断、健康评估、运行维护等,是智能制造的重要内容。随着制造规模的增加,工业设备规模和复杂性不断增加,且随着工业互联网、先进传感等技术的应用,工业设备管控数据规模呈几何增长,表现出规模大、种类多、分布散等特点,传统基于云计算的中心式信息处理方式无法满足大规模设备管控的数据实时性需求,迫切需要研究新的管控平台,实现设备管控计算任务的高效、灵活、快速部署。针对上述问题,本文面向工业设备管控,根据边缘计算将算力“下沉”到边端的设想,设计并实现了基于微服务的工业设备边缘管控平台,为大规模工业设备管控提供了一种新的技术方案,具体研究工作如下:(1)边缘管控平台需求与功能分析。分析了平台数据和业务的多源整合与统一管理、平台服务的高可靠保证、数据信息的高效存储与资源共享以及平台业务的严格授权与信息安全等四大核心需求。(2)管控平台架构设计。按照需求分析进行平台架构设计,平台采用go-micro框架实现微服务的设计与开发。其中,基于RBAC(Role-Based Access Control)模型构建了用户权限管理系统,并在此基础上开发了用户管理服务和权限管理服务;基于Ceph集群构建了对象存储系统,并在此基础上开发了资源管理服务;采用基于任务模板的任务部署机制,实现了任务管理服务;借助Grafana可视化开发工具开发了平台监控看板并与基础工程进行整合;设计API网关实现对各微服务请求的路由与分发;微服务间采用RPC、消息队列等方式交互,以降低服务耦合度。(3)边缘管控平台实现与测试。平台采用6台树莓派构建边端Kubernetes集群,并在集群中部署测试环境;通过编写测试用例进行平台功能测试,同时使用Jmeter压测软件编写测试脚本进行性能测试,在50个线程并发下,通过1832953次模拟HTTP请求,响应成功率达100%;压测时平台各功能业务平均响应时间为98ms,网关平均CPU使用率78.2%,内存占用率22.8%,符合设计预期。(4)基于边缘故障诊断的平台验证。采用基于深度学习的分布式边缘故障诊断作为典型案例进行平台功能验证。设计了一种基于数据并行的分布式模型训练方法,并使用多种工业轴承数据集对该方法进行验证,实验表明该方法在采用三个节点进行并行计算时,与传统训练模式对比,模型准确度相差2%以内,模型训练时长节约近50%,并对该方法在平台中的部署进行了演示说明,验证平台在设备管控与数据处理方面的能力。

基于云计算FFT的机械故障诊断系统设计与实现

这是一篇关于并行计算,Spark,FFT,振动信号,机械故障诊断的论文, 主要内容为FFT是机械故障诊断中对振动信号进行频域分析的重要方法,也是发现故障的重要手段。机械故障诊断中往往需要进行高达106点的FFT运算。为提升运算效率,对FFT进行并行化是当前一个研究热点和发展趋势。现有的基于MapReduce的FFT算法在减小系统I/O及降低算法运算量等方面存在一定的不足,计算效率低,难以满足机械故障诊断对海量振动数据进行实时处理的要求。针对上述问题,本文利用Spark内存计算的优势,结合稀疏傅里叶变换的思想,提出了一种基于Spark并行计算框架的FFT并行算法,并基于此算法设计并实现了一套机械故障诊断系统。本文的主要工作及获得的成果如下:(1)深入研究FFT算法原理,分析其并行化可行性。并对现有的基于MapReduce的FFT并行算法进行研究和剖析,发现其中存在的问题与不足。(2)提出一种基于Spark的FFT并行算法并进行实验验证。该算法只需计算部分时域信号的FFT,即可得到能够代表整个信号频域特性的频谱,同时通过RDD转换的方式充分利用内存,降低系统的I/O开销。实验结果表明,当数据达到4*108时,与基于MapReduce的FFT并行算法相比,在误差允许的范围内,基于Spark的FFT并行算法的运算速度提高近40倍。同时将其与传统方法的FFT实验结果进行对比,对于大幅值频点的计算误差较小。(3)设计并实现一个针对风电机组的机械故障诊断系统,包含用户管理、数据预处理、故障诊断和数据存储四个模块。对以上模块进行了概要设计和详细设计,并以Java语言和SpringMVC架构编程实现了该系统。该系统提供可视化界面,支持机械运行状态监测及故障诊断的功能。(4)通过对系统进行测试,包括功能测试和负载测试,证明了本系统可以有效、及时地完成机械故障诊断工作。

基于FPGA的暗通道先验去雾算法研究与实现

这是一篇关于暗通道先验,视频去雾,实时性,并行计算,双尺度最小值滤波的论文, 主要内容为雾天条件下,成像设备采集到的图像、视频都会发生一定程度的降质,导致图像中的目标信息模糊难以辨识,对成像设备在目标检测识别与跟踪、遥感观测等领域的应用产生不良影响,因此对数字图像去雾技术的研究具有重要意义。目前去雾算法的研究取得了较大的进展,但是现有算法对光晕效应以及白亮区域的色彩失真处理仍存在不足,并且算法的计算复杂度较高,极大地限制去雾算法的工程应用。随着现场可编程逻辑门阵列(Field Programmable Logic Gate Array,FPGA)的性能越来越突出,在图像处理领域应用案例日渐增多,基于FPGA的实时去雾系统的研究逐渐成为热点。现有去雾系统处理的图像分辨率较低,系统的鲁棒性和实时性也存在较大缺陷。为解决上述的问题,本文设计了一种对光晕效应以及白亮区域的色彩失真处理效果良好的去雾算法,结合本文算法设计一套基于FPGA的实时去雾系统。本文的主要工作包括3个方面:(1)基于暗通道先验的去雾算法设计。基于传统暗通道去雾算法的研究,着重分析了暗通道先验去雾算法中参数的选取对去雾效果的影响以及暗通道先验算法的不足。针对去雾后的光晕效应,本文设计双尺度最小梯度滤波方法求取透射率,使用不同尺度的窗口求取暗通道图,进而求解出透射率图,精简了透射率处理过程,同时有效解决了光晕效应;针对白亮区域色彩失真问题,本文设计基于阈值分割的透射率补偿方法,采用经验值加串口微调的方式设置阈值,实现对透射率的补偿,避免了白亮区域透射率的过低估计,在一定程度解决白亮区域的色彩失真问题;针对大气光值估算复杂的问题,设计基于亮度直方图统计的大气光值估算方法。对于图像去雾过程,该方法有效地降低大气光值的计算复杂度。对于视频去雾过程,根据帧间相关性对帧间的大气光值进行平滑,有效地解决了大气光值跳变引起的视频帧闪烁问题。(2)基于FPGA的去雾算法再设计。本文设计了一套基于FPGA的去雾系统硬件平台,以HDMI输入或者相机作为系统输入,FPGA作为核心处理单元,以HDMI作为系统输出。结合FPGA的高并行以及流水线优势对算法部分步骤进行再设计。根据视频相邻帧的关联,基于前一帧计算的透射率和大气光值,完成当前帧的去雾,达到实时视频去雾效果,提高算法计算效率,具有较高的实用性。在双尺度求取暗通道过程中,对于最值串行排序运算延迟较大的问题,采用面积换速度的思想,降低6个时钟周期延迟;FPGA不适合进行浮点运算,耗费逻辑资源较多,因此将颜色空间变化等操作中的浮点数运算转换为定点数运算;图像复原、透射率计算等步骤中涉及大量的除法运算,将除法运算用移位运算代替。以上几点的改进在保障资源消耗平衡的同时,还能够提高算法执行速度。(3)去雾系统FPGA实现与系统测试。本文基于FPGA硬件平台对系统的各部分逻辑实现并且进行功能仿真。对系统功能进行测试,从主观感受和客观定量两个角度进行分析评价,结果表明本文设计的算法具有比传统算法更好的去雾效果,对光晕效应和色彩失真处理更好。本文基于FPGA系统实现的去雾算法结果相较于Matlab的仿真结果,在图像质量降低较小的情况下,对1920×1080的视频图像去雾帧率可达60fps,系统总功耗不超过5W,能应用在低功耗领域。

基于Hadoop平台的学业预警系统研究与实现

这是一篇关于Hadoop,并行计算,学业预警,数据挖掘的论文, 主要内容为我国因高校扩招大学生人数不断攀升,进而产生了许多问题和挑战,例如学业不良者增多,学生退学率升高,生源质量降低等,这些问题始终困扰着各大高校,且对其社会声誉造成消极的影响。本文设计并实现了基于Hadoop平台的学业预警系统,该系统可对学生的选课、成绩等学业相关信息进行监控,并对已经或者即将出现的学生学业问题提出预警,从而引导、帮助学生及时发现问题,对提升高校人才培养质量有着重要的现实意义。本文主要工作如下:首先,针对Hadoop技术平台的优势和学生学业成绩的特点,结合学业预警机制给出了Hadoop平台详细的配置方案,并构建了分布式平台,为算法并行化实现提供了理论基础。其次,为了向不同的决策者提供不同层次不同侧重的决策信息,本文结合Hadoop技术平台的特点,提出了改进的FP-Growth算法和K-Means算法,并将上述算法和主成份算法应用到学业数据分析中,为决策者提供决策参考。通过对FP-Growth算法进行并行化改进,挖掘出学生课程成绩之间的关联关系,为培养计划的调整和优化提供数据支撑;通过对K-Means算法进行并行化改进,获取了不同类别学生的挂科率,并得到了不及格课程之间的关联性;通过主成份算法提取出学生课程主要特征,依此聚类,划分出学生类别,并按照学生类别有针对性地提出其需要重点关注的课程建议。最后,依据软件工程要求,基于SSH框架、MongoDB和Oracle数据库,利用基础数据访问服务以及统一数据访问接口技术,构建了完整的学业预警系统。该系统实现了在学生培养方案的不同阶段生成、审核和发布学业情况和预警信息等,为学校、学生和家长提供了一个良好的沟通渠道;同时,该系统具有预警数据分析功能,能够从多个维度挖掘分析学生学业数据特别是不良学业成绩,该系统为高校人才培养方案制定提供了理论和应用支撑。系统在某高校进行了实际应用,为高校决策提供了帮助,取得了良好效果。

基于并行计算的水质时间序列数据清洗平台的研究与实现

这是一篇关于水质时间序列,数据清洗,支持向量回归,长短期记忆,并行计算的论文, 主要内容为随着智慧水务的发展,水质数据量也日益增大。同时由于水质数据的变量多样性和变量间的强相关性,使得水质脏数据的处理难度陡然上升,严重影响了水务行业的决策性分析,因此水质数据清洗已然成为了水务信息研究中的核心内容。近年来,随着机器学习方法的广泛应用,利用其解决数据清洗问题的技术也取得了较大的进展,为水质数据清洗提供了许多可参考的解决方案。基于当前水质数据的分布特点和用户对数据清洗的需求,本文在水质数据时间特征属性的基础上,以模型的运行效率作为切入点,进而研究基于并行计算的水质时间序列数据清洗平台的构建方法,实现先进编程技术架构和数据清洗流程的有机结合,为水务决策性分析提供有效的数据质量保障。本文全面介绍了水质数据清洗平台构建和应用过程的相关技术,主要包含以下几方面工作:首先,通过深入了解数据清洗的基本流程及现状,现有的水质数据特点和机器学习方法的应用现状等问题,本文将水质时间序列的清洗流程总结为三个主要阶段,分别是数据预处理、异常值检测和空缺值填补阶段。在数据预处理阶段处理不符合常识的明显错误的水质数据,在异常值检测阶段处理不符合水质时间序列正态分布特征的数据,在空缺值填补阶段利用统计学方法和机器学习方法预测缺失数据和异常数据。接着,针对水质数据缺失的不同情况,在空缺值填补阶段分别采用了平均值预测,支持向量回归(Support Vector Regression,SVR)算法预测和长短期记忆网络(Long-Short Term Memory,LSTM)算法预测。针对算法核心参数难以确定的问题设计了粒子群优化(Particle Swarm Optimization,PSO)算法改进的SVR(PSO-SVR)和PSO改进的LSTM(PSO-LSTM),并且采用非线性递减惯性权重策略对PSO的迭代过程进行了优化。同时使用了多种常用的算法模型进行对比实验,通过评价指标对比,本文所采用的模型预测效果均优于其他模型,进一步说明了本文所选用模型的有效性和准确性。然后,针对大数据量和算法的高复杂度导致数据预测模型运行时间过长的问题,本文使用微服务架构作为并行计算解决方案,实现了PSO算法的并行化。进一步提升了整个清洗流程的效率以及平台的易用性和扩展性。通过对比并行优化前后的预测模型运行时间,验证了本文所构建的模型的高效性。最后,本文以前后端分离的Web开发技术为基础。使用Java编程技术、Python编程技术以及My SQL数据库设计理论来构建平台的后端服务。Java Script+HTML+CSS的技术栈构建平台的前端页面,同时结合水质时间序列的清洗流程建立数据清洗平台。并详细说明了平台总体功能和平台中各个模块的主要功能,同时详细展示了主要页面。本文所建立的数据清洗平台依托于《水体污染控制与治理科技重大专项》这一国家级项目,能够高效地对水质时间序列进行全面地数据清洗工作,有效地为水务决策分析提供帮助。