基于注意力机制与轻量化网络的图像语义分割

这是一篇关于深度学习,语义分割,DeepLabv3+,注意力机制,轻量化网络的论文, 主要内容为语义分割是计算机视觉的一项重要任务,它在自动驾驶、医学影像、增强现实等领域具有广阔发展前景。传统图像分割算法的精度和效率难以满足实际应用的需求。近年来,基于深度学习的图像语义分割研究取得重大突破。本文以DeepLabv3+模型为基础,提出了两种图像语义分割算法,具体工作如下。(1)提出了基于双注意力机制的DeepLabv3+算法。DeepLabv3+模型中的空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)利用不同扩张率的空洞卷积聚合多尺度图像特征,提升了不同尺度目标的分割结果。但ASPP难以充分表达丰富的全局上下文信息,且没有考虑不同通道特征重要程度的差异,导致大量细节信息丢失。针对上述问题,提出一种基于双注意力机制的DeepLabv3+算法。该算法在ASPP中添加位置注意力模块以建模全局上下文关系,增强特征判别能力;并利用通道注意力模块获取不同特征通道间的相互依赖关系,强化重要通道特征的学习,改善语义分割效果。在PASCAL VOC 2012增强数据集上进行实验,结果表明,所提算法的平均交并比(MIo U)和平均像素精确度(MPA)相比于DeepLabv3+算法分别提升了2.05%和2.19%,且分割精度优于其他5种对比算法。(2)提出了基于注意力机制与密集邻域预测的轻量化图像语义分割算法。DeepLabv3+模型编码器利用Xception提取图像特征,计算开销大;空洞空间金字塔池化模块生成的特征图各通道权重相同,没有考虑不同通道特征的差异,难以突出重要通道特征;解码器生成的高语义化特征图缺乏足够的细节信息,导致分割结果较差。针对上述缺陷,提出基于注意力机制与密集邻域预测的轻量化图像语义分割算法。该模型利用Mobile Net V2提取图像特征,降低了模型参数量;利用通道空洞空间金字塔池化提取多尺度信息,并对特征图的各通道加权,强化重要通道特征的学习;采用密集邻域预测融合高级特征与低级特征,细化语义分割结果。在PASCAL VOC 2012增强数据集上进行实验,结果表明,所提算法的平均交并比和平均像素精确度均高于其他5种主流对比算法。与DeepLabv3+相比,参数量与计算量分别减少184.82M和90.83GFLOPs,该算法在提升分割精度的同时减少了计算开销。

基于改进YOLO与知识蒸馏的无人机航拍图像目标检测方法研究

这是一篇关于轻量化网络,知识蒸馏,YOLO-v5,FReLU激活函数,注意力机制,无人机航拍图像目标检测的论文, 主要内容为目标检测作为计算机视觉领域的研究中的重要课题,一直备受重视。随着无人机技术、卫星遥感技术、航空航天技术等的发展,航拍图像目标检测已成为研究热点。无人机航拍图像是航拍图像的重要分支,是以无人机作为图像传感器的空中搭载平台所拍摄的图像。然而,航拍图像区别于普通图像,具有背景信息复杂、目标尺度小、目标具有显著的方向性且分布稀疏不均等特点,这使得航拍图像的目标检测,尤其是小目标检测充满挑战,小目标的漏检率及误检率较高,且检测速度较低。本文针对无人机航拍图像小目标检测所面临的问题,进行相关研究。本文选用YOLO-v5(You Only Look Once-v5)作为基础算法。该算法在无人机航拍图像实时检测中具有很高的精度,但时空复杂度较高,模型结构较为复杂,使得实时性不满足无人机航拍图像目标检测任务的需求。根据YOLO-v5在无人机航拍图像小目标检测中存在的问题,对算法进行针对性的优化,使优化后的算法可以被有效应用于无人机航拍图像小目标检测中。本文的研究重点可以划分为以下几个方面:第一,改进基础的YOLO-v5算法,并命名为GFC-YOLO-v5优化算法。首先,利用轻量化网络降低时空复杂度,搭建Ghost Module模块并利用Ghost Module构建Ghost Bottleneck瓶颈结构;利用Ghost Bottleneck构建Ghost Net网络;修改网络接口,将Ghost Net的输出层作为有效特征层,进行加强特征提取。然后,对卷积模块的激活函数进行处理,YOLO-v5的卷积模块中的Si LU激活函数的空间敏感度较低,针对这个问题,采用FReLU函数作为激活函数,克服线性模型的局限性,使模型具备更高的检测能力。最后,在骨干网络(Backbone Net)中添加CBAM注意力机制模块,融合通道注意力与空间注意力机制,提高目标检测网络检测速度,节省参数与计算力,将参数量由7030417轻量化为3774347。第二,GFC-YOLO-v5算法的时空复杂度得到了大幅度降低,但其检测精度有所影响。为提升轻量化网络的精度,将YOLO-v5m、YOLO-v5l网络的卷积模块中的激活函数由Si LU替换为FReLU,分别命名为FReLU-YOLO-v5m/l,以上述精度很高但体积较大的网络作为教师网络,以GFC-YOLO-v5作为学生网络,修改损失函数,在自定义数据集中进行知识蒸馏。经过知识蒸馏后的GFC-YOLO-v5在其显著的模型轻量化优势的前提下,精度得以提升至90.6%。第三,将本文方法应用于无人机航拍图像小目标检测,无人机具有操控简单、飞行灵活、成本低等优点。通过自采集无人机图像与公开数据集图像构建针对小目标的无人机图像数据集:PCUS-Data Sets与SMALL-TINY-UAV-DATASET。进行对比实验与消融实验,通过精确率、召回率、检测速度、时空复杂度等方面进行分析。通过实验验证,改进后的GFC-YOLO-v5的参数量相比原始YOLO-v5s减少了46.3%;改进后的GFC-YOLO-v5的计算量相比原始YOLO-v5s降低了46.54%。经过知识蒸馏后的Distilled-GFC-YOLO-v5的精确率相比GFC-YOLO-v5提升了6.7个百分点,相比原始YOLO-v5s提升了1.2个百分点。在优化算法基础上进行知识蒸馏后,改进算法实现了准确度与时空复杂度的双重优势。

基于深度学习的校园林地火灾实时监测系统研究

这是一篇关于森林火灾检测,YOLOv5,轻量化网络,自动导航的论文, 主要内容为近年来森林火灾在世界各地频繁发生,造成了严重的经济损失和人员伤亡。传统的森林火灾检测方法存在准确性低和成本高昂等问题,因此如何准确、高效地检测出森林火灾是当前森林火灾检测领域的研究重点。随着计算机技术的发展,基于深度学习的目标检测技术由于具有检测的精度高和检测速度快等优点,被诸多研究者应用于森林火灾检测任务。针对森林火灾检测算法当前存在的识别准确率低和所需计算量大等问题,论文从提高算法识别准确率和降低计算量两方面入手,基于YOLOv5算法创新提出了一种G-YOLOv5n-CB森林火灾检测算法。并基于此算法结合机器人技术设计了一种应用于校园林地内的火灾实时监测系统。此系统使用无人车在自动导航的同时通过相机采集图像信息,然后将论文所提算法部署在无人车搭载的Jetson Nano硬件平台,实现对森林火灾的实时检测,最后将检测结果实时传输到系统上位机界面进行显示。论文主要研究工作及创新点如下:(1)针对森林火灾检测算法识别准确率不佳的问题,提出一种基于改进YOLOv5n的YOLOv5n-CB森林火灾检测算法。在YOLOv5n模型的基础上在主干网络和颈部网络的连接处引入CBAM注意力机制,让网络聚焦于有效信息,达到引入微小参数量而有效提升网络性能的目的。其次引入加权双向特征金字塔网络(Bi FPN)思想对颈部网络进行改进,加强上下文信息融合,提升对目标的特征提取能力。通过实验表明,提出的YOLOv5n-CB算法对比原算法在自制的森林火灾数据集上m AP值指标上涨了1.4%,检测性能有明显提升。(2)针对森林火灾检测算法运算量和模型体积过大导致的实时性不佳问题,提出一种基于轻量化框架的G-YOLOv5n-CB森林火灾检测算法。分别使用Mobile Net V3网络和Ghost Net网络对原算法的特征提取网络进行轻量化改进。通过实验表明,结合Ghost Net网络的轻量化策略在维持较高检测精度的情况下,使得参数量与计算量大幅下降,模型轻量化效果更好。将改进后模型与Faster R-CNN等其他深度模型做对比实验,实验表明改进模型在大幅降低模型体积的同时维持了较高的识别准确率,验证了改进算法的有效性。将改进后的G-YOLOv5n-CB模型部署到Jetson Nano平台上进行测试,检测速度达到15FPS,基本满足森林火灾检测实时性要求。(3)校园林地火灾实时监测系统设计。系统将论文所提森林火灾检测算法部署在无人车搭载的Jetson Nano硬件平台上,实现了对森林火灾的实时检测。系统采用Cartographer算法进行无人车导航地图的构建,使用Move＿base导航功能包下的A*算法和DWA算法对无人车分别进行全局的路径规划和局部的路径规划,实现了校园林地场景下无人车目标点导航功能。基于Py Qt5开发出系统上位机界面,实现了森林火灾检测结果的实时显示以及无人车的行动控制。森林火灾和自动导航模块综合测试的结果表明,论文设计的校园林地火灾实时监测系统可以准确、实时地在校园林地场景中进行森林火灾检测,具备实际应用价值。

基于改进YOLOv5s的可回收垃圾检测与应用研究

这是一篇关于垃圾回收,YOLOv5s,轻量化网络,SE注意力,K-means++,迁移学习,Jetson Nano的论文, 主要内容为垃圾回收的好处很多,其有助于保护水土资源,提高居民的生活环境质量,加快绿色循环经济发展。然而传统的垃圾回收需要大量人力和物力。为了获得更高的精度,目标检测模型通常带有巨大的参数量和复杂的结构。本研究提出了一个更轻量和高效的YOLOv5s改进模型,将其用于对可回收垃圾的分类和定位,并结合可回收垃圾检测的应用开发进行相关的实践。主要的工作如下:1、对原YOLOv5s网络中,参数量较大的问题、计算复杂的部分,合理结合Shuffle Net V2基本单元、深度可分离卷积与Hard-Swish激活函数对YOLOv5s结构进行改进,降低网络的冗余性,使得结构更加紧凑。2、在原YOLOv5s网络中,对特征图通道数目较多的结构但是没有区分不同通道重要性的问题,通过嵌入轻量级的SE注意力机制,使得网络能区分不同通道的重要性,给予不同的权重。3、采用遗传算法和K-means++聚类算法,重新获得更准确的可回收垃圾锚框,便于网络边框回归调整。4、为了提高可回收垃圾检测模型的性能,采用迁移学习的方式,迁移学习选择的数据集为COCO数据集,使其预先学习COCO数据集中80个类别的丰富特征。5、针对于可回收垃圾检测模型的实际嵌入式应用开发,选用常见的Jenson Nano与树莓派4B作为微型的嵌入式平台,并进行实际的运行速度对比研究,且为了便于使用者的操作、观察效果和调节阈值,使用Pyqt5库创建图形化界面,实现可回收垃圾检测的便捷操作。6、为了研究实现在网络上的可回收垃圾检测任务,采用Flask后端与VUE前端构建了可回收垃圾检测的WEB平台。实验结果表明,改进的模型参数量压缩为原始模型参数量的60.3%,模型内存也压缩了59.2%。在输入分辨率为640×640时,在精度上,改进模型的m AP为96.43%,比原始YOLOv5s高出4.34%,在速度上,改进模型提高了在GPU平台上的并行度,通过在Jetson Nano硬件上进行部署,改进模型的前向推理速度比原始YOLOv5s加快了13.1%。另外,与目前主流的目标检测模型对比,提出的改进模型也具有很好的可回收垃圾特征表达能力,可为可回收垃圾检测的轻量化开发提供参考。

基于机器视觉的板材表面缺陷智能检测技术

这是一篇关于轻量化网络,深度学习,缺陷检测,YOLOv5的论文, 主要内容为随着国家制造业的不断发展,板材广泛应用在工业化的各个领域,需求量巨大。但是由于生产工艺、环境等原因,会产生各类缺陷影响板材的使用。人工肉眼检测主观性强费时费力,传统的图像处理算法需要自制模板并且精度低、速度慢,因此板材表面缺陷检测问题需要新的方法解决。本文以铝材数据集为研究对象,采用深度学习中的YOLOv5算法对铝材表面缺陷进行检测,进行对比实验分析实验结果,并迁移到其它板材数据集中进行测试,最终完成的主要工作如下:(1)本文比较了不同目标检测模型的优缺点,综合考虑网络模型的检测速度和检测精度,最终选择YOLOv5算法。比较了4种不同YOLOv5目标检测模型的精度、算法复杂度和模型训练成本,最终选择YOLOv5s模型作为铝材缺陷检测的基础算法。(2)由于不同数据集检测框大小和数量不同,为了让模型更好的回归,使用KMeans聚类算法和auto Anchor算法重新生成模型的检测锚框,使用auto Anchor比不使用预设锚框的模型m AP提高了12.9%。为了增强特征金字塔模块提取和传递特征信息的能力,使用Sim SPPF、SPPCSPC和ASPP三种不同的特征金字塔模块改进YOLOv5的特征金字塔结构(SPP),改进后的各模型m AP分别提升了2.9%、1.9%、1.7%。为了增强模型的分类和回归能力,使用Decouple head改进YOLOv5的检测头后模型m AP提升了2.3%。(3)为了让网络模型更加关注重要的特征信息,使用各类注意力机制SE、ECA和CBAM模块,分别添加到网络的骨干网络后和CSPX-1结构后。其中,将注意力机制模块添加到骨干网络后模型m AP分别提升了0.3%、1.2%、1.0%,添加到CSPX-1结构后模型m AP分别提升了1.8%、2.9%、2.5%。将注意力机制模块添加到CSPX-1结构后在使用Decouple head改进YOLOv5的检测头部分,对应模型m AP分别提升了3.2%、1.5%、3.7%,ECA模块放在CSPX-1结构后效果不如放在骨干网络后,SE和CBAM对应的模型m AP都有很好的提升。(4)为了将模型部署移动设备和嵌入式设备中,本文使用轻量化网络Moblie Net V3、Shuffle Net V2和Ghost Net改进YOLOv5网络模型的Backbone部分,使用深度可分离卷积可有效降低模型复杂度。在网络模型m AP变化很小的前提下,各模型参数量分别下降了28.4%、45.8%、32.2%,计算量分别下降了28.8%、50.6%、49.9%。由于Neck部分的CSPX-2模块的参数量依然很大,在替换轻量化骨干结构的基础上利用C3Ghost模块替换Neck部分的CSPX-2模块进一步降低网络的参数量和计算量。改进Neck部分的CSPX-2模块后,各模型参数量分别下降了59.6%、59.5%、45.8%,计算量分别下降了66.9%、61.9%、62.5%。(5)针对深度学习的黑箱问题,为了证明网络模型可以学习那些重要的特征信息,对图像进行特征图可视化和热力图可视化分析。将训练好的模型迁移到钢材和PCB电路板数据集中进行测试也取得了良好的效果。

基于动态神经网络的视频目标检测方法研究

这是一篇关于视频目标检测,动态神经网络,动态推断,轻量化网络,特征聚合的论文, 主要内容为随着计算机技术和深度学习的飞速发展,视频目标检测技术得到了很大提升。在实际工业应用中我们对模型的轻量化和实用性提出了更高的要求。目前基于深度学习的视频目标检测方法主要使用静态推理方法,不仅降低了模型的表达能力,而且不能满足不同设备对多样性算力的需求。本文主要研究内容是设计基于动态神经网络的视频目标检测网络、高效的动态推断方法和特征融合等,可以实现低能耗的视频目标检测。具体工作如下:(1)提出了基于动态神经网络的视频目标检测方法,改变目前深度学习网络静态推理范式,节约和高效利用计算资源。在此方法中,主要包括动态网络骨干MHRes Net和针对视频目标检测的随时检测模式和预算批检测模式。MH-Res Net得到多个不同资源要求的早停点来自适应不同的样本难易。两种检测模式可以让网络更加高效的利用硬件资源。在ImageNetVID数据集上,验证了基于动态神经网络视频目标检测算法的有效性。(2)提出了基于视频时空特性动态推断方法,解决了每个样本都需要依次判断早停点,加快了推理速度和精度。在此方法中,主要包括阶梯动态推断方法和无阈值的阶梯动态推断方法。阶梯推断方式,保证每一帧在推断过程中只通过一个子网络,且以无跨越的方式对子网络的选择进行更新。而无阈值的阶梯动态推断方法,去除了离线寻找阈值的复杂操作,提高了网络的推理效率和表达能力,让模型的推断时间进一步缩短。在Image Net VID数据集上,验证了基于视频时空特性动态推断方法的有效性。(3)提出了基于时序特征聚合的动态视频目标检测方法,增强了检测结果,同时改善了遮挡,形变,脱焦和运动模糊等问题。在此方法中,主要包括融合全局信息和局部信息的特征聚合模块。特征聚合模块使用基于Transform的关系模块,可以将局部和全局的信息和当前帧信息进行融合,强化当前帧的特征,使目标的特征信息更加丰富完整。在ImageNetVID数据集上,验证了基于时序特征聚合的动态视频目标检测方法的有效性。

基于宽度网络的HER2分类方法研究

这是一篇关于乳腺癌,HER2,深度学习,宽度网络,轻量化网络的论文, 主要内容为乳腺癌患者中存在着人类表皮生长因子受体2(HER2)基因扩增或蛋白高表达的情况,称为HER2阳性乳腺癌。HER2的表达水平可以体现乳腺癌患者的患病程度,人们根据其表达水平规定了不同的分数。HER2分数的正确分类事关乳腺癌靶向药物的准确使用,对乳腺癌的预后和治疗十分重要。因此,本文针对如何利用神经网络框架提高HER2识别性能进行了研究。HER2类别的判断依赖病理学家的目视观察,这个过程既耗时耗力又不够客观。由于数字病理图像和人工智能的发展,涌现了许多针对HER2分类的计算机辅助方法,但是这些方法的性能还有待提升。基于上述问题,本文主要研究在降低人为工作量和提高性能的前提下,设计用于HER2分类的神经网络模型。首先,HER2图像膜染色后显示的特征易受到其它因素干扰,所以需要进行针对性的图像预处理。本文提出了通过颜色域转换再限定HSV分量范围的方式进行HER2图像的预处理。该方法是先通过RGB颜色域向HSV颜色域转化,再筛选需要的棕黄色特征,最后再转回原来的RGB颜色域。实验结果证明该方法突出了HER2的膜染色特征,并除去了其它颜色和光线等干扰因素。其次,本文通过实验对比了大量的分类神经网络模型,发现Google Net对HER2的分类有较好的效果。因此,鉴于Google Net模型的“宽度”特点对HER2分类有优势的情况,本文提出了从宽度扩展的神经网络模型WPNet。该网络模型并行使用不同尺寸的卷积核,可以提供不同的感受野,能够有效提取HER2图像中大小不一的膜染色特征,提高对HER2的分类效果。本文通过大量的实验证明:相比于其它模型,WPNet对HER2分类有更高的准确率。最后,由于WPNet模型的输入分辨率较大且模型中使用了尺寸较大的卷积核,导致其计算成本要比常规的轻量级网络要大。因此,本文在宽度网络的基础上提出适合于HER2分类的轻量化网络模型LWPNet。通过使用分组卷积、膨胀卷积、通道混洗和宽度网络相结合的方式不仅降低了计算成本,并保证了模型对HER2的分类准确率。实验结果证明:相比其它模型,LWPNet有更低的计算成本和更高的分类准确率。

基于深度学习的印刷电路板表面缺陷检测技术研究

这是一篇关于PCB,缺陷检测,YOLO算法,SRGAN,注意力机制,轻量化网络的论文, 主要内容为印刷电路板(Printed Circuit Board,PCB)是电子设备的关键组成部分。集成电路封装技术的发展使得PCB表面布线越来越拥挤,对PCB的质量提出更为严格的要求。PCB的质量直接决定电子产品的安全性能,存在缺陷的PCB会导致电子产品无法正常工作,甚至造成重大安全事故,因此PCB表面缺陷检测技术的研究变得尤为重要。PCB表面缺陷可供提取的特征较少,传统方法无法精准检测。为提高检测精度,满足工业生产需求,本文对基于深度学习的PCB表面缺陷检测技术进行深入研究,搭建PCB智能检测系统,实现对PCB表面缺陷的精准检测。研究工作如下:(1)提升了PCB缺陷图像的分辨率。针对PCB缺陷图像放大处理后出现分辨率下降的问题,利用SRGAN网络对PCB数据集进行处理,提升图像的分辨率。(2)提出了一种基于ECA注意力机制的Mobilenet V3-YOLOv4算法。使用K-Means算法对数据集进行聚类,加速网络训练。针对YOLOv4算法检测精度较低、检测速度较慢的问题,引入Mobilenet V3作为YOLOv4算法的主干网络,提高检测速度;加入ECA注意力机制增强网络对缺陷的特征提取能力,提高检测精度。将改进算法与YOLOv4算法、YOLOv3算法、SSD算法、Faster R-CNN算法进行对比,仿真结果表明改进YOLOv4算法相较于其他算法有更好的检测效果。(3)提出了一种基于CA注意力机制的Ghost Net-YOLOv7算法。使用二分K-means算法解决K-means算法局部收敛的问题;通过轻量化网络对比试验,引入Ghost Net作为YOLOv7算法的主干网络,减少网络参数量;加入CA注意力机制和Inceptionv3结构,减少Ghost Net造成的精度损失,通过消融实验证明改进方案的可行性。将改进算法与YOLOv7算法、改进YOLOv4算法、Faster R-CNN算法进行对比,仿真结果表明改进YOLOv7算法解决了YOLOv4算法中部分缺陷检测精度过低的问题,相较于其他算法有更好的检测效果。(4)搭建PCB缺陷智能检测系统。利用Python编程语言结合Py Qt5界面设计工具和My SQL数据库搭建“印刷电路板智能检测系统”,实现对PCB表面六种缺陷的实时检测,并将检测到的缺陷进行语音报警。