基于深度学习的路面病害检测研究

这是一篇关于深度学习,路面病害检测,YOLOX,GAN,数据增强的论文, 主要内容为近年来,由于对公路的使用量大幅增加,导致路面病害日益增多,公路的使用寿命迅速缩短。与此同时,路面病害未及时修缮致使交通事故频出,对于路面病害的检测成为了当下研究的热点,尤其是针对检测算法的准确性和实时性方面的研究。本文提出了基于深度学习的高效目标检测方法实现路面病害的自动化检测,该方法可以有效减少人力物力,有助于带动交通的安全发展。基于深度学习的目标检测方法往往需要构建高精度的大型卷积神经网络,但是受限于小型嵌入式设备以及移动设备等有限的计算资源,大型网络模型难以部署在此类应用场景中。针对上述问题,本文首先通过生成对抗网络来深度增强数据的任务性,其次提出了改进后的Ghost Net-YOLOX轻量级检测模型,实现了对道路病害准确、实时的自动化检测,最后在嵌入式平台完成检测系统的构建,并完成了基于PyQt的软件开发。本文的创新及主要工作如下:(1)针对路面病害图像细节丢失导致模型学习效率低的问题,本文提出了基于生成对抗网络的路面病害检测方法。该方法是基于Wasserstein生成式对抗网络的横向裂缝、纵向裂缝、坑陷的关键目标图像重塑增强算法UGAN-2G,同时增强目标检测的多任务性;并提出了自映射梯度联合U型的网络作为生成器,引入Res Net思想,无监督的完成病害目标图像的重塑细节,提高了网络使用效率;为了增强重塑效果,本文将图像像素损失与对抗损失组合成为生成器的损失进行训练,提高了模型的鲁棒性。最后,将生成数据通过图像合成技术应用于YOLOv5和YOLOX模型进行实验,证明了该方法提高了路面病害自动化检测的精度。(2)针对计算资源有限的硬件环境导致模型的使用率低的问题,本文基于YOLOX提出Ghost Net-YOLOX轻量级路面病害识别模型。该模型首先将YOLOX主干网络替换为优化后的Ghost Net来减少网络计算参数量,构建DAM(Dimensional Attention Model)代替Ghost Bottleneck模块中的SE模块,从而充分利用有限的网络容量进行强化特征学习;然后提出DFM(Deep Fusion Model)模块来改进PANet并以此对高低特征层进行深度融合获取更加丰富的特征信息;最后优化损失函数准确拟合检测框位置,并引入Image-Multitasking数据增强方法来强化目标图像任务性,提高了网络的泛化能力和鲁棒性。(3)基于Jetson TX嵌入式平台设计了路面病害检测系统。该系统通过GStreamer技术对数据流进行解码,采用Tensor RT对模型进行加速,以及多线程解决视频卡顿,通过实验结果表明,该检测可以满足路面检测的实时性和准确性要求。最后,利用PyQt实现了检测模型的人机交互软件设计。

光伏组件的热斑故障检测研究

这是一篇关于热斑故障,红外图像,主成分分析,U-net网络,YOLOX的论文, 主要内容为随着化石能源的大量开发和利用,环境污染问题已成为一个全球性的问题,新能源与可再生能源的开发与利用迫在眉睫。太阳能以不消耗资源、不产生污染、取之不尽等特点在新能源发电领域具有重要地位。然而光伏组件作为光伏发电系统的核心器件,运行过程中产生的任何故障问题都会影响整个光伏发电系统的正常工作,热斑故障是光伏组件运行过程中的一种常见故障问题,因此针对光伏组件的热斑故障问题进行研究是十分必要的。基于红外图像的热斑故障检测具有检测效率高、使用成本低等优势,成为常用的热斑故障检测方法。本文以光伏热斑红外图像为研究对象,完成了针对光伏热斑红外图像的去噪、分割工作,并最终实现了光伏热斑的故障检测,具体研究内容如下:1.提出了基于主成分分析的混合噪声自适应去噪算法。针对热斑红外图像具有高斯-椒盐混合噪声的特点,针对性提出了基于主成分分析的自适应去噪算法,在进行主成分提取前首先进行了自适应窗口预处理以滤除图像中的高密度椒盐噪声,然后根据图像的局部相似性提取信息分量、滤除噪声分量,同时更新噪声水平进行二次去噪,提高了算法对高密度噪声的去噪性能。实验结果表明,本算法针对热斑图像混合噪声有较好的去噪效果,热斑区域轮廓明显。2.提出了基于改进U-net网络的光伏红外图像分割方法。针对传统图像分割方法在复杂灰度图像中存在过分割、欠分割等问题,提出了基于改进U-net网络的图像分割方法。首先将灰度共生矩阵与原始图像信息同步输入到U-net网络中,提高U-net网络对图像纹理特征的感知能力;然后在U-net网络的编解码结构中引入多尺度特征融合思想,使网络能够提取更加丰富的图像特征;最后,使用深度可分离卷积,减少网络训练所需参数,提高网络模型的运行速度和泛化能力。实验证明,本算法分割结果准确,具有较强的鲁棒性。3.提出了基于改进YOLOX算法的故障检测方法。选取具有较低参数量、较高鲁棒性的YOLOX-S模型作为主体网络结构,在加强特征提取网络部分使用加权双向特征金字塔网络,将改进的YOLOX-S网络与原始的YOLOX-S及YOLOX进行模型训练及测试。对比结果表明,本改进方法具有较高的m AP值,在减少运算成本的同时保证了故障检测的精度,具有实际应用价值。图[48]表[7]参[80]

基于边缘计算平台的自动驾驶视觉目标检测算法研究

这是一篇关于边缘计算,目标检测,模型轻量化,自动驾驶,YOLOX,Edge TPU的论文, 主要内容为车载自动驾驶技术拥有降低出行成本、提升通行效率、提升出行安全等多个优势,具有非常重大的现实意义,同时也是中国未来在智能汽车产业能否具备竞争力的关键因素。车载图像目标检测算法技术较为成熟,单阶段目标检测算法在检测速度上有着比较大的优势,但是检测精度相对较差。此外,云端计算平台虽然有着较大的计算资源,但是由于通信的不稳定性和高时延性,使得安全性并不能够得到保障,而边缘计算平台能够一定程度解决这个问题。在自动驾驶场景下,目标检测算法对于检测速度和检测精度都有很高的要求,虽然算法和边缘计算平台都在快速发展,但是仍然存在着算法性能不足、算法部署低效、软硬件不兼容等问题。而如何优化算法性能,充分利用边缘平台计算资源,解决软硬件“断层”,将算法高效地部署在计算平台上,在工程应用中都是非常重要的。在此背景下,本文的主要工作内容是实现目标检测算法和边缘计算平台软硬件的高效协同,优化算法的性能并高效地部署在边缘计算平台上。具体的,本文采用单阶段目标检测且性能较强的YOLOX算法展开研究,首先对YOLOX算法进行检测精度优化,得到精度较好的模型后再针对硬件平台进行轻量化改进,提高检测速度,然后将改进后的算法部署在谷歌Coral Dev Board开发板中并做出实验。具体工作如下:(1)本文首先以精度为导向对模型进行改进,针对数据集第二类样本较少的情况,本文使用Copy-Paste、Copy-Paste-Mix和过采样等方式对此类样本数据进行数据增强,缓解数据样本不平衡的问题,提高模型对第二类样本的检测能力。针对模型对小目标检测性能较差的问题,本文采用添加浅层特征融合、残差模块和自适应空间特征融合(ASFF)模块对特征融合层进行改进,有效提高模型对小目标的检测精度。同时考虑到ASFF带来的大量的计算量,本文提出Fast＿ASFF模块有效提高模型的推理速度。针对数据集不同类别样本数量、尺寸差别较大的问题,本文采用Focal Loss替换原来的Loss函数,有效减缓样本不均衡的问题,提高模型的检测精度。(2)本文的第二个工作是基于边缘计算平台的软硬件协同,结合边缘计算平台的硬件特性,以模型的部署推理性能为导向对YOLOX算法进行改进,首先针对模型参数量、计算量较大的问题,本文分别基于Shuffle Net V2和Mobile Net V2两种轻量化结构对YOLOX算法进行轻量化改进和实验,并进行了图优化工作,有效减少模型大小和时延,并根据实验结果和轻量化相关理论分析,基于Ghost Net提出轻量化架构GNet,并基于GNet对模型进行改进和实验,提高模型的边缘端推理性能。针对模型在推理过程中产生的动态数据流大小不稳定的问题,本文提出一种平滑策略能够有效减少数据流大小的不稳定性,进一步提高模型在边缘端推理的速度。最后,本文结合相关轻量化工作,提出一种基于平滑数据流的混合轻量化结构设计,有效提高轻量化模型在资源有限的边缘计算平台推理性能。(3)本文的第三个工作在于结合前两个工作的实验内容,根据Coral Dev Board开发板的硬件特性,分别从轻量化结构、特征融合层、平滑策略三个方面进行部署实验,并在最后给出最终的改进模型部署实验,同时对实验结果进行分析。根据实验结果可以得出,本文的前两部分工作取得了一定的效果,符合实验预期。

基于边缘计算平台的自动驾驶视觉目标检测算法研究

这是一篇关于边缘计算,目标检测,模型轻量化,自动驾驶,YOLOX,Edge TPU的论文, 主要内容为车载自动驾驶技术拥有降低出行成本、提升通行效率、提升出行安全等多个优势,具有非常重大的现实意义,同时也是中国未来在智能汽车产业能否具备竞争力的关键因素。车载图像目标检测算法技术较为成熟,单阶段目标检测算法在检测速度上有着比较大的优势,但是检测精度相对较差。此外,云端计算平台虽然有着较大的计算资源,但是由于通信的不稳定性和高时延性,使得安全性并不能够得到保障,而边缘计算平台能够一定程度解决这个问题。在自动驾驶场景下,目标检测算法对于检测速度和检测精度都有很高的要求,虽然算法和边缘计算平台都在快速发展,但是仍然存在着算法性能不足、算法部署低效、软硬件不兼容等问题。而如何优化算法性能,充分利用边缘平台计算资源,解决软硬件“断层”,将算法高效地部署在计算平台上,在工程应用中都是非常重要的。在此背景下,本文的主要工作内容是实现目标检测算法和边缘计算平台软硬件的高效协同,优化算法的性能并高效地部署在边缘计算平台上。具体的,本文采用单阶段目标检测且性能较强的YOLOX算法展开研究,首先对YOLOX算法进行检测精度优化,得到精度较好的模型后再针对硬件平台进行轻量化改进,提高检测速度,然后将改进后的算法部署在谷歌Coral Dev Board开发板中并做出实验。具体工作如下:(1)本文首先以精度为导向对模型进行改进,针对数据集第二类样本较少的情况,本文使用Copy-Paste、Copy-Paste-Mix和过采样等方式对此类样本数据进行数据增强,缓解数据样本不平衡的问题,提高模型对第二类样本的检测能力。针对模型对小目标检测性能较差的问题,本文采用添加浅层特征融合、残差模块和自适应空间特征融合(ASFF)模块对特征融合层进行改进,有效提高模型对小目标的检测精度。同时考虑到ASFF带来的大量的计算量,本文提出Fast＿ASFF模块有效提高模型的推理速度。针对数据集不同类别样本数量、尺寸差别较大的问题,本文采用Focal Loss替换原来的Loss函数,有效减缓样本不均衡的问题,提高模型的检测精度。(2)本文的第二个工作是基于边缘计算平台的软硬件协同,结合边缘计算平台的硬件特性,以模型的部署推理性能为导向对YOLOX算法进行改进,首先针对模型参数量、计算量较大的问题,本文分别基于Shuffle Net V2和Mobile Net V2两种轻量化结构对YOLOX算法进行轻量化改进和实验,并进行了图优化工作,有效减少模型大小和时延,并根据实验结果和轻量化相关理论分析,基于Ghost Net提出轻量化架构GNet,并基于GNet对模型进行改进和实验,提高模型的边缘端推理性能。针对模型在推理过程中产生的动态数据流大小不稳定的问题,本文提出一种平滑策略能够有效减少数据流大小的不稳定性,进一步提高模型在边缘端推理的速度。最后,本文结合相关轻量化工作,提出一种基于平滑数据流的混合轻量化结构设计,有效提高轻量化模型在资源有限的边缘计算平台推理性能。(3)本文的第三个工作在于结合前两个工作的实验内容,根据Coral Dev Board开发板的硬件特性,分别从轻量化结构、特征融合层、平滑策略三个方面进行部署实验,并在最后给出最终的改进模型部署实验,同时对实验结果进行分析。根据实验结果可以得出,本文的前两部分工作取得了一定的效果,符合实验预期。

基于改进Faster R-CNN和YOLOX的交通标志检测算法研究

这是一篇关于智能驾驶,交通标志检测,Faster R-CNN,YOLOX,轻量化的论文, 主要内容为随着智能驾驶领域的不断进步,汽车安全的关注点也在向主动安全靠拢,环境感知技术成为亟需攻坚的重要课题。交通标志检测作为智能车环境感知的重点细分领域,科研人员和汽车厂商从未停止对其的研究和探索。论文开展基于改进Faster R-CNN和YOLOX的交通标志检测算法研究,主要工作如下:(1)基于Faster R-CNN算法,将骨干网络VGG16替换为Res Net50,将混合注意力机制融入主干残差结构,利用多尺度滑动窗口改进RPN网络,在不同深度卷积层生成特征图,并进行特征融合。构建交通标志数据集,并利用K-means++算法设计锚框。结果表明,改进后的算法将检测精度m AP从85.99%提高到了94.38%。(2)基于YOLOXs算法,提取主干网络浅层特征,并进行多特征融合。增设浅层特征预测头,组成多预测头检测层,将轻量ECA注意力模块融入到Neck特征增强网络,共同组成改进的M-YOLOXs交通标志检测算法,改进算法提高了2.68%的检测精度。(3)针对CPU硬件环境,对M-YOLOXs算法进行轻量,分别使用Mobile Netv3和Ghost Net两种轻量网络替代主干,并基于深度卷积和逐点卷积,对特征增强网络进一步轻量,构建了LM-YOLOXs-m和LM-YOLOXs-g两种轻量化交通标志检测算法,参数量缩减了44%以上,权重文件轻量到22M以内,并从精度和速度两方面验证轻量算法的有效性。

基于改进Faster R-CNN和YOLOX的交通标志检测算法研究

这是一篇关于智能驾驶,交通标志检测,Faster R-CNN,YOLOX,轻量化的论文, 主要内容为随着智能驾驶领域的不断进步,汽车安全的关注点也在向主动安全靠拢,环境感知技术成为亟需攻坚的重要课题。交通标志检测作为智能车环境感知的重点细分领域,科研人员和汽车厂商从未停止对其的研究和探索。论文开展基于改进Faster R-CNN和YOLOX的交通标志检测算法研究,主要工作如下:(1)基于Faster R-CNN算法,将骨干网络VGG16替换为Res Net50,将混合注意力机制融入主干残差结构,利用多尺度滑动窗口改进RPN网络,在不同深度卷积层生成特征图,并进行特征融合。构建交通标志数据集,并利用K-means++算法设计锚框。结果表明,改进后的算法将检测精度m AP从85.99%提高到了94.38%。(2)基于YOLOXs算法,提取主干网络浅层特征,并进行多特征融合。增设浅层特征预测头,组成多预测头检测层,将轻量ECA注意力模块融入到Neck特征增强网络,共同组成改进的M-YOLOXs交通标志检测算法,改进算法提高了2.68%的检测精度。(3)针对CPU硬件环境,对M-YOLOXs算法进行轻量,分别使用Mobile Netv3和Ghost Net两种轻量网络替代主干,并基于深度卷积和逐点卷积,对特征增强网络进一步轻量,构建了LM-YOLOXs-m和LM-YOLOXs-g两种轻量化交通标志检测算法,参数量缩减了44%以上,权重文件轻量到22M以内,并从精度和速度两方面验证轻量算法的有效性。

基于机器视觉的戍边巡检系统研究

这是一篇关于戍边巡检,深度学习,YOLOX,DeepSORT,无人机的论文, 主要内容为随着国际局势的不稳定,边境不安全因素随之增加,给戍边人员带来了很大的挑战,甚至有时会对戍边人员的生命安全造成威胁。随着数字化、无人化、智能化进程的加快,无人机和深度学习得到了蓬勃的发展。为了高效完成戍边工作,并保护戍边人员的生命安全,本文提出一个基于机器视觉的戍边巡检系统。该研究具有重要的学术意义和实用价值,具体研究内容简要如下:(1)本文选择YOLOX算法作为目标检测任务的基础算法,在Vis Drone2021-DET数据集上对不同目标检测算法进行了对比研究,以期获得更加准确的检测效果。通过基础模型选择实验对不同复杂度的YOLOX算法进行比较,选定了YOLOX-s算法作为目标检测基础模型。针对YOLOX-s算法对无人机视角下小目标检测能力的不足,本文分别从网络结构和损失函数两个方面对YOLOX-s算法进行优化,即引入坐标注意力机制、Sim SPPF和Vari Focal Loss损失函数三种改进策略。为了比较引入的三种改进策略的有效性,本文进行了一系列的消融实验。对比实验证实了改进YOLOX算法对无人机视角下小目标检测具有显著的优势。最后,在Vis Drone2021-DET数据集挑战集中进行了跟踪效果测试实验,结果表明改进后的YOLOX算法对小目标车辆的检测表现出更为显著的优越性。(2)本文选择DeepSORT算法作为本文在目标跟踪任务的基础算法,使用改进YOLOX算法作为DeepSORT算法的检测器设计了一个基于改进YOLOX的DeepSORT跟踪算法。通过在Vis Drone2021-MOT数据集上进行的跟踪性能评测实验和对比分析,结果表明本文所提跟踪算法具有优良的跟踪性能。为了验证本文所提跟踪算法在实用场景的跟踪结果,本文选择不同光线条件下的视频进行模拟测试实验,结果表明本文所提跟踪算法能够成功跟踪到视频中的所有目标车辆。(3)本文设计了一个基于无人机平台和深度学习算法的戍边巡检系统。首先设计了该系统的整体结构,并采用无人机、相机、个人电脑等设备来构建实验环境。然后,开发了用户登陆界面和监控界面,并将该系统与本文所提算法相结合进行系统验证测试。验证实验表明,本文所提算法能够实时跟踪到所有目标车辆,并且具有优良的跟踪性能,为该算法在实际场景中的推广和应用提供了重要的性能支撑和参考依据。本文所提算法不仅对于戍边巡检具有重要价值,对于机器视觉领域的安全巡逻、应急管理和小目标搜索等任务也具有参考价值。

基于机器视觉的戍边巡检系统研究

这是一篇关于戍边巡检,深度学习,YOLOX,DeepSORT,无人机的论文, 主要内容为随着国际局势的不稳定,边境不安全因素随之增加,给戍边人员带来了很大的挑战,甚至有时会对戍边人员的生命安全造成威胁。随着数字化、无人化、智能化进程的加快,无人机和深度学习得到了蓬勃的发展。为了高效完成戍边工作,并保护戍边人员的生命安全,本文提出一个基于机器视觉的戍边巡检系统。该研究具有重要的学术意义和实用价值,具体研究内容简要如下:(1)本文选择YOLOX算法作为目标检测任务的基础算法,在Vis Drone2021-DET数据集上对不同目标检测算法进行了对比研究,以期获得更加准确的检测效果。通过基础模型选择实验对不同复杂度的YOLOX算法进行比较,选定了YOLOX-s算法作为目标检测基础模型。针对YOLOX-s算法对无人机视角下小目标检测能力的不足,本文分别从网络结构和损失函数两个方面对YOLOX-s算法进行优化,即引入坐标注意力机制、Sim SPPF和Vari Focal Loss损失函数三种改进策略。为了比较引入的三种改进策略的有效性,本文进行了一系列的消融实验。对比实验证实了改进YOLOX算法对无人机视角下小目标检测具有显著的优势。最后,在Vis Drone2021-DET数据集挑战集中进行了跟踪效果测试实验,结果表明改进后的YOLOX算法对小目标车辆的检测表现出更为显著的优越性。(2)本文选择DeepSORT算法作为本文在目标跟踪任务的基础算法,使用改进YOLOX算法作为DeepSORT算法的检测器设计了一个基于改进YOLOX的DeepSORT跟踪算法。通过在Vis Drone2021-MOT数据集上进行的跟踪性能评测实验和对比分析,结果表明本文所提跟踪算法具有优良的跟踪性能。为了验证本文所提跟踪算法在实用场景的跟踪结果,本文选择不同光线条件下的视频进行模拟测试实验,结果表明本文所提跟踪算法能够成功跟踪到视频中的所有目标车辆。(3)本文设计了一个基于无人机平台和深度学习算法的戍边巡检系统。首先设计了该系统的整体结构,并采用无人机、相机、个人电脑等设备来构建实验环境。然后,开发了用户登陆界面和监控界面,并将该系统与本文所提算法相结合进行系统验证测试。验证实验表明,本文所提算法能够实时跟踪到所有目标车辆,并且具有优良的跟踪性能,为该算法在实际场景中的推广和应用提供了重要的性能支撑和参考依据。本文所提算法不仅对于戍边巡检具有重要价值,对于机器视觉领域的安全巡逻、应急管理和小目标搜索等任务也具有参考价值。