基于GPU的雷达组网探测威力计算服务研究
这是一篇关于雷达组网探测,GPU编程,并行处理,微服务的论文, 主要内容为雷达组网探测威力分析是一种广泛使用的工具,其在军事领域中经常被用来确定雷达网在不低于一定概率的情况下能够探测到的雷达散射截面的区域。它是雷达网联合作战效能评估,防守侧责任区域划分,雷达网部署位置参数优化,进攻方突防路径规划等雷达军事领域的关键步骤。图像处理器拥有强大的并行浮点数运算能力。所以现如今GPU广泛应用于深度学习、雷达数据处理、图像分析等领域。GPU中有着大量且简单的逻辑运算器以实现大规模的并行运算,而雷达网探测威力计算一般具有地理空间采样点多,数据吞吐量大和计算量大的特点,其造成的困境就是计算精度与计算速度的两难。即采样点越多,计算量越大,然而得到了计算精度的同时计算时间急剧增加。为了解决计算速度与计算精度的两难问题,论文提出了基于GPU的雷达组网探测威力计算算法及其优化方案。该方法以场模型为基础,将联合探测威力的计算过程具体化为场模型的构造和信息处理。此外,它也是一种计算与可视化相结合的计算方法,它直接生成以供最终显示终端所需的地理标记图像二维信息。最后论文中通过压缩解空间、优化内存使用、优化指令使用等GPU编程优化技术对算法进行优化,达到充分利用GPU硬件的目的。基于GPU的计算方法涉及到硬件和开发环境,即每一块不同的GPU需要安装相应的NVIDIA软件驱动。并且算法本身在GPU中所启动的线程个数也会因为显卡的不同而可能引发错误,所以导致算法的可移植性较低。基于以上困难,本论文将基于GPU的算法用ICE框架封装成微服务,提供可供调用的接口。最后本论文设计了三个不同的实验来从不同的角度验证算法的时效性和可扩展性。经实验分析对比表明,这种基于GPU的新算法能够适应不同的网格分辨率、雷达探测概率和雷达最大探测高度等条件。优化后的GPU版本的处理效率是串行版本的75倍左右。
分布式图数据库存储引擎加速与事务管理的设计与实现
这是一篇关于分布式图数据库,计算下推,并行处理,向量化引擎,事务管理的论文, 主要内容为近些年,分布式图数据库的热度不断增长,特别是在推荐系统、金融风控、社交网络和知识图谱等领域,图数据中的关系价值被尤为重视。然而,面向在线分析场景的分布式图数据库仍面临着计算层和存储层网络通信开销较大,系统并行性不佳等性能问题。因此,如何提升在线查询和在线分析的性能对分布式图数据库的设计与实现提出了新的挑战。本文基于主流的计算存储分离架构,重点研究了针对图存储引擎的加速策略和事务管理,提出了一种基于计算下推的异步分布式图遍历算法、多种针对图存储引擎的加速机制,并设计了一种异步化的分布式事务,以满足大规模图数据下的图查询工作负载。本文的主要工作内容以及创新点如下:1.在算法设计方面,本文提出了一种基于计算下推的异步分布式图遍历算法。该算法充分利用了圈层扩展在存储节点本地连续执行的优势,降低了计算层和存储层之间的网络通信开销。并且,该算法在单机执行与多机协同这两个层面上均采用了异步化的设计,通过两级调度机制优化了单机内多线程并行和多机间任务并行的效率,提升了分布式图数据库系统在线分析的性能。2.在加速策略方面,本文提出了多种针对图存储引擎的加速机制。通过计算和I/O逻辑隔离将线程作为资源组进行划分,并对图遍历任务的执行逻辑分割,提升了单机CPU资源的利用率,发挥了计算和I/O异步执行的优势。通过多线程任务窃取调度避免了线程间的任务负载失衡,降低了系统的长尾延迟。并通过向量化执行控制了算子内部的计算膨胀,减缓了短时间大批量数据的I/O压力。3.在事务处理方面,本文设计了一种异步化的分布式事务。该分布式事务优化了经典两阶段提交,将事务提交成功的标志由经典方案中的需要全部参与者成功应用事务修改,优化为仅需一个参与者成功写入一条事务状态记录,事务修改由异步线程主动应用或其他事务捎带应用。通过将事务修改应用到原始数据的过程异步化来有效地提升分布式事务的处理效率。在测试阶段,本文对图存储引擎的功能和性能进行了完整的测试,并根据时延和吞吐对优化策略进行了详细分析。通过实验证明,算法优化、系统优化以及事务优化能够有效地提升图存储引擎以及系统整体的在线查询和在线分析的性能。
基于FPGA的机载实时图像分割系统设计与实现
这是一篇关于图像分割,FPGA,流水操作,并行处理的论文, 主要内容为随着电子信息的迅速发展,图像数据量的迅速增加,图像分割系统对图像处理的实时性和处理速度要求越来越高。在实时性要求比较高的航空领域中,FPGA(Field Programmable Gate Array)由于其处理速度快及并行处理能力强的优点在机载图像分割领域中得到了广泛关注。基于FPGA的图像分割系统对图像进行处理时,可利用其丰富的寄存器资源以及流水线结构对大量的图像数据进行高实时性的分割处理,能够在很大程度上提高图像的处理速度和处理效率。机载图像处理系统的高实时性关系到飞行员对于所采集的目标信息的快速掌握情况,而图像分割是图像处理的关键步骤,图像分割的好坏关系到后续图像处理的质量。本文针对机载图像分割处理的高实时性要求,基于FPGA设计并实现应用于机载的实时图像分割系统。本文所设计的机载实时图像分割处理系统能够完成对图像的实时采集,并将其进行缓存,进而对图像进行分割处理,并对处理后的图像结果进行显示。本文设计实现了图像的超绿特征提取、Otsu阈值分割、Sobel边缘检测等图像分割算法,最后将系统处理之后的图像通过HDMI接口进行输出显示。本文在算法处理模块中采用流水操作的方式对图像进行处理,即当前算法处理之后的图像数据会立刻传输至下一算法模块中进行下一步处理,无需等待完整的一帧图像数据在当前算法模块处理完毕后再顺序进入下一个算法处理模块,这种流水处理的方式能够在很大程度上提高图像分割处理的速度和效率。本文对所设计的机载图像分割系统在XC7A100型号的FPGA芯片中进行了功能验证和性能测试,并对Otsu阈值分割算法在FPGA上和当前传统机载图像分割系统上分别进行了对比。实验结果表明,本文所采用的分割算法对分辨率512*512的图像在XC7A100平台上进行分割处理平均仅需4.62ms左右,其处理速度约为本文测试的传统机载图像分割系统实现速度的十几倍。且在实现图像分割的过程中,所占用的触发器FF、使用查找表LUT和块寄存器BRAM的利用率分别为12.5%、22.44%和32.59%,相对于现有的传统机载图像分割系统,本设计系统以较少的资源实现了算法的设计。最后,本文对随机选取的图像在本设计系统上进行了分割处理,实验结果表明,本文所设计的基于FPGA的机载实时图像分割系统能够完成对图像的缓存和分割处理,且采用FPGA设计实现的图像分割算法比传统机载图像分割方法效率更高,达到了预期的设计要求。
基于微服务与OpenAcc的遥感信息加速提取系统研究与实现
这是一篇关于OpenAcc,微服务,遥感专题产品,植被指数,并行处理的论文, 主要内容为随着大数据时代的来临,软件系统功能逐渐多样化,早期的遥感信息加速提取系统计算模式大多为单节点并行,之后发展为使用集群并行处理架构进行设计开发。当前遥感信息加速提取系统面临有限的可重用性与可伸缩性的挑战,系统中服务的便捷性、系统的可扩展性以及系统维护有所不足。微服务架构具备独立部署能力,可实现进程独立。微服务架构伸缩性强、可用性高、且拥有更加智能的运维方式。微服务中的每个服务足够内聚,可对各服务进行有效的管理。业务可实现实时更新以及模块化发布,并可实现服务的无间断提供。因此,如何使遥感信息加速提取系统具有更强的服务便捷性以及可扩展性,实现资源的重复利用,从而使系统的开发效率得到进一步的提升是系统整体效率提升的关键。随着遥感图像的分辨率大幅提高,数据量的不断扩大,遥感相关从业者对遥感图像处理的实时性要求越来越高。基于CUDA的遥感专题产品算法并行模式大多取得了较好的加速性能,但CUDA存在编程周期长、掌握难度较大等问题。采用Open Acc并行可使开发周期更短,不用重写串行算法,并可一次编译多种设备运行。因此,如何实现算法更高效的数据和任务并行,实现较短周期的开发,从而进一步提升算法的执行效率和处理过程的实时性,使之满足各行业的遥感应用需求是遥感专题产品算法改进过程中的关键。本文主要开展的工作有:(1)基于计算节点内具有的GPU计算资源,提出了两种基于异步多流的Open Acc并行处理模式。通过将计算数据分块并采用异步多流的方式进行加速计算,有效的屏蔽了部分数据传输和计算的时间,从而提升了算法的并行处理性能。以归一化植被指数为例展示了该并行处理策略的详细设计过程,并通过数值实验验证了基于异步多流的Open Acc并行处理模式的有效性。(2)采用分布式、多节点协同的设计理念,集成声明式远程调用组件Feign、服务网关Zuul、安全认证组件Spring Cloud Security和服务熔断Hystrix等技术搭建了完整的微服务框架。设计并实现了基于微服务与Open Acc的遥感信息加速提取系统,并将系统中的核心加速与遥感数据展示服务集成至框架中。系统分为遥感速递、数据加速处理和遥感数据展示等服务模块。将基于异步多流的Open Acc并行处理模式集成至系统内数据加速处理模块中,并通过遥感数据展示模块将加速效果以可视化图表形式进行直观展示。通过实验结果对比,验证了本文提出的两种基于异步多流的Open Acc并行处理模式相对于传统的处理算法具有较好的加速效果。同时,通过对系统各模块的多次功能测试,也验证了本文所设计的基于微服务与Open Acc的遥感信息加速提取系统具有一定的应用价值。
基于分布式架构的IP活动库的设计与实现
这是一篇关于IP活动库,数据模型,海量数据处理,并行处理,数据库维护的论文, 主要内容为本文的研究内容属于211工程三期公共服务体系建设项目“中国教育和科研计算机网主干网和重点学科信息服务体系升级扩容工程”。其主要研究目标是:针对流经CERNET主干网中的IP流记录具有持续性和海量性的特征,通过对IP活动库数据模型,插入机制,查询机制和存储空间管理的研究,建立起满足CERNET运行管理和安全保障所需的IP活动库,从而支持用户对IP流记录的查询以完成流活动分析。本文的主要任务是设计并实现IP活动库的数据模型,数据插入算法,实时查询算法,周期性维护算法和系统功能。IP活动库的数据模型包括数据生命周期模型和数据管理模型。针对到达IP活动库的CERNET流记录具有海量性和持续性的特征,以及IP活动库存储空间的有限性,论文研究IP活动库中流记录的生命周期形态,并基于生命周期形态转变,设计了数据生命周期模型。同时,基于生命周期模型,完成数据管理模型,从而实现IP活动库流记录的动态生命周期。IP活动库的数据插入算法包括流记录解析方案和设计流记录插入机制。针对到达IP活动库的CERNET流记录采用的是Netflow9动态模板,论文设计CERNET流解析方案,完成对IP流记录的解析。另外,考虑ElasticSearch优越的查询性能选取ElasticSearch作为后台数据库,完成对IP活动库的插入。IP活动库的实时查询算法包括用户界面,复杂查询和实时查询方案。论文针对用户需对IP活动库进行交互式分析,设计并实现简洁清晰的用户界面。论文针对用户的复杂查询,设计单值、多值和批量查询函数。论文针对IP活动库的分布式架构,数据的海量性特征,设计实时查询方案,支持用户对IP活动库实时查询。IP活动库的周期性维护算法包括周期性合并,周期性压缩和周期性删除。论文针对CERNET流记录的持续性和海量性,IP活动库的存储空间有限性,以及数据生命周期模型的动态性特征,设计周期性合并方案,周期性压缩方案,周期性删除方案,完成了数据生命时期的转换和IP活动库存储空间的压缩。IP活动库系统的包括插入功能,查询功能,周期性维护功能,监控功能和异常处理功能。论文通过分析数据插入,实时查询,周期性维护实验结果,设计并实现IP活动库的插入功能,查询功能和周期性维护功能。同时,论文针对IP活动库运行时可能存在不稳定或异常的状况,设计并实现了监控功能和异常管理功能。从而实现了IP活动库的正常运维。
基于微服务与OpenAcc的遥感信息加速提取系统研究与实现
这是一篇关于OpenAcc,微服务,遥感专题产品,植被指数,并行处理的论文, 主要内容为随着大数据时代的来临,软件系统功能逐渐多样化,早期的遥感信息加速提取系统计算模式大多为单节点并行,之后发展为使用集群并行处理架构进行设计开发。当前遥感信息加速提取系统面临有限的可重用性与可伸缩性的挑战,系统中服务的便捷性、系统的可扩展性以及系统维护有所不足。微服务架构具备独立部署能力,可实现进程独立。微服务架构伸缩性强、可用性高、且拥有更加智能的运维方式。微服务中的每个服务足够内聚,可对各服务进行有效的管理。业务可实现实时更新以及模块化发布,并可实现服务的无间断提供。因此,如何使遥感信息加速提取系统具有更强的服务便捷性以及可扩展性,实现资源的重复利用,从而使系统的开发效率得到进一步的提升是系统整体效率提升的关键。随着遥感图像的分辨率大幅提高,数据量的不断扩大,遥感相关从业者对遥感图像处理的实时性要求越来越高。基于CUDA的遥感专题产品算法并行模式大多取得了较好的加速性能,但CUDA存在编程周期长、掌握难度较大等问题。采用Open Acc并行可使开发周期更短,不用重写串行算法,并可一次编译多种设备运行。因此,如何实现算法更高效的数据和任务并行,实现较短周期的开发,从而进一步提升算法的执行效率和处理过程的实时性,使之满足各行业的遥感应用需求是遥感专题产品算法改进过程中的关键。本文主要开展的工作有:(1)基于计算节点内具有的GPU计算资源,提出了两种基于异步多流的Open Acc并行处理模式。通过将计算数据分块并采用异步多流的方式进行加速计算,有效的屏蔽了部分数据传输和计算的时间,从而提升了算法的并行处理性能。以归一化植被指数为例展示了该并行处理策略的详细设计过程,并通过数值实验验证了基于异步多流的Open Acc并行处理模式的有效性。(2)采用分布式、多节点协同的设计理念,集成声明式远程调用组件Feign、服务网关Zuul、安全认证组件Spring Cloud Security和服务熔断Hystrix等技术搭建了完整的微服务框架。设计并实现了基于微服务与Open Acc的遥感信息加速提取系统,并将系统中的核心加速与遥感数据展示服务集成至框架中。系统分为遥感速递、数据加速处理和遥感数据展示等服务模块。将基于异步多流的Open Acc并行处理模式集成至系统内数据加速处理模块中,并通过遥感数据展示模块将加速效果以可视化图表形式进行直观展示。通过实验结果对比,验证了本文提出的两种基于异步多流的Open Acc并行处理模式相对于传统的处理算法具有较好的加速效果。同时,通过对系统各模块的多次功能测试,也验证了本文所设计的基于微服务与Open Acc的遥感信息加速提取系统具有一定的应用价值。
基于分布式架构的IP活动库的设计与实现
这是一篇关于IP活动库,数据模型,海量数据处理,并行处理,数据库维护的论文, 主要内容为本文的研究内容属于211工程三期公共服务体系建设项目“中国教育和科研计算机网主干网和重点学科信息服务体系升级扩容工程”。其主要研究目标是:针对流经CERNET主干网中的IP流记录具有持续性和海量性的特征,通过对IP活动库数据模型,插入机制,查询机制和存储空间管理的研究,建立起满足CERNET运行管理和安全保障所需的IP活动库,从而支持用户对IP流记录的查询以完成流活动分析。本文的主要任务是设计并实现IP活动库的数据模型,数据插入算法,实时查询算法,周期性维护算法和系统功能。IP活动库的数据模型包括数据生命周期模型和数据管理模型。针对到达IP活动库的CERNET流记录具有海量性和持续性的特征,以及IP活动库存储空间的有限性,论文研究IP活动库中流记录的生命周期形态,并基于生命周期形态转变,设计了数据生命周期模型。同时,基于生命周期模型,完成数据管理模型,从而实现IP活动库流记录的动态生命周期。IP活动库的数据插入算法包括流记录解析方案和设计流记录插入机制。针对到达IP活动库的CERNET流记录采用的是Netflow9动态模板,论文设计CERNET流解析方案,完成对IP流记录的解析。另外,考虑ElasticSearch优越的查询性能选取ElasticSearch作为后台数据库,完成对IP活动库的插入。IP活动库的实时查询算法包括用户界面,复杂查询和实时查询方案。论文针对用户需对IP活动库进行交互式分析,设计并实现简洁清晰的用户界面。论文针对用户的复杂查询,设计单值、多值和批量查询函数。论文针对IP活动库的分布式架构,数据的海量性特征,设计实时查询方案,支持用户对IP活动库实时查询。IP活动库的周期性维护算法包括周期性合并,周期性压缩和周期性删除。论文针对CERNET流记录的持续性和海量性,IP活动库的存储空间有限性,以及数据生命周期模型的动态性特征,设计周期性合并方案,周期性压缩方案,周期性删除方案,完成了数据生命时期的转换和IP活动库存储空间的压缩。IP活动库系统的包括插入功能,查询功能,周期性维护功能,监控功能和异常处理功能。论文通过分析数据插入,实时查询,周期性维护实验结果,设计并实现IP活动库的插入功能,查询功能和周期性维护功能。同时,论文针对IP活动库运行时可能存在不稳定或异常的状况,设计并实现了监控功能和异常管理功能。从而实现了IP活动库的正常运维。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码码头 ,原文地址:https://m.bishedaima.com/lunwen/54741.html