基于MobileNetV3-YOLOv5网络的绝缘子缺陷检测

这是一篇关于绝缘子缺陷定位,YOLOv5,轻量化,MobileNetV3的论文, 主要内容为我国的输电线路具有跨度大、电网结构复杂的特点,架空线路上的绝缘子在整个电力系统中起着绝缘和支撑作用。绝缘子长期暴露在户外的暴晒或雷雨环境中,因此在电力线路的定期巡检工作中,绝缘子是重点关注的对象之一。随着输电线路规模的不断发展与扩大,传统的绝缘子人工巡检方式效率低下且安全性差,所以近年来,电力工作者往往采用更智能化的电力巡检方式。因此对绝缘子缺陷故障的检测方法研究具有重大的现实意义。本文提出一种改进的Mobile Net V3-YOLOv5绝缘子缺陷识别和破损定位检测算法,使网络能同时兼顾识别精度和计算速度。深度学习的绝缘子检测模型参数多、计算量大,而Mobile Net V3网络作为轻量型网络,具有模型参数少、训练速度快的特点。因此针对传统神经网络对绝缘子缺陷故障分类精度低的问题,提出一种基于改进Mobile Net V3的绝缘子图像分类算法。由于Mobile Net V3网络主要由深度可分离卷积构成,所以首先利用Inception多尺度特征融合网络的结构对深度可分离卷积进行改进,采用三条并行分支对1×1、3×3、5×5的多尺度特征进行提取,并将改进后的深度可分离卷积引入Mobile Net V3网络的线性瓶颈结构中,加强网络对多尺度特征的提取能力;其次为了扩大网络卷积的感受野,提取到更完整的绝缘子特征信息,将空洞卷积引入到Mobile Net V3网络的深度可分离卷积中,以保证在覆盖更多绝缘子特征、提升分类精度的同时,避免增加多余的网络计算量;最后与VGG16、Resnet50以及Mobile Net V3网络进行分类准确率、模型参数量、计算量和召回率等指标对比,改进后的Mobile Net V3网络的缺陷故障分类准确率达到92.36%,较原网络提升了2.52%,故改进的Mobile Net V3网络可以更准确的识别出破损的绝缘子。针对YOLOv5网络模型参数多、计算量大及训练耗时长的问题,首先将YOLOv5的主干网络替换为本文改进的Mobile Net V3模型,以减少模型的参数量,提高计算速度;其次对PANet中的CSP模块结构重新设计,通过引入深度可分离卷积进一步优化模型的参数量;同时由于对网络进行轻量化处理会存在一定的精度损失,因此在网络的Neck层添加CBAM注意力机制,使模型更关注主要信息,从而加强复杂背景下绝缘子特征提取能力,提高网络检测精度;然后在后处理环节使用DIo U-NMS替换NMS,提高网络对遮挡绝缘子的辨识能力,降低复杂环境下绝缘子漏检的概率。最后将改进后的网络进行消融实验,并与SSD、Faster R-CNN、YOLOv5算法进行对比,本文改进的算法模型参数量降低了37%,m AP值达到94.5%,检测速度为50帧/s。故本文提出的基于改进的Mobile Net V3-YOLOv5检测算法能降低硬件成本,且有效地实现绝缘子缺陷快速定位,满足绝缘子缺陷定位的实时性要求。

非受控环境下的人脸检测算法研究

这是一篇关于人脸检测,高俯视角度人脸,MobileNetV3,注意力机制,BiFPN,人脸识别的论文, 主要内容为人脸检测是指在输入图像中确定所有人脸位置和大小的过程。近些年来,随着人工智能的飞速发展,人脸检测作为最热门的研究课题之一,已广泛应用于生活中的各个方面,例如智慧小区、校园门禁、刷脸支付等。目前,针对受控环境下人脸采集图像数据,人脸检测算法在检测准确率方面取得优异成果。受控环境下人脸图像具有清晰度高、采光好、面部无遮挡、无倾斜等特点。但现实生活经常出现非受控环境下人脸采集场景,相比于受控环境其图像更加复杂,所采集的人脸在姿态、表情、角度等方面具有多变性,因此非受控环境下的人脸检测研究更具有挑战性,人脸检测技术的关注点也从受控环境下的人脸检测逐步转移到非受控环境下的人脸检测。本文针对非受控环境下人脸检测的一种典型情况,即高俯视角度人脸检测问题展开深入研究,设计了一种针对高俯视角度人脸的高性能人脸检测算法YOLOv5-Mobile Net V3-CBAM-Bi FPN。为验证本算法有效,在电梯高俯视角度下抓拍图像中,运用人脸检测与识别算法开展图像中出现人物身份识别实验,实现对高俯视角度人脸的高准确率识别。本文主要研究内容有:(1)进行高俯视角度人脸数据增强,对数据集做出改进。具体方法是自采高俯视角度人脸数据集HOAFD,HOAFD共包含1399个受试者的8394张人脸图片,对每个受试者均采集0°、15°、30°、45°、60°、75°这6个角度的人脸图片。并选取其中699个受试者的角度为30°、45°、60°、75°等高俯视角度的2796张人脸图片作为本文的测试集,充分模拟生活中的高俯视场景。其余5598张人脸图片作为训练集加入网络对原始人脸训练集Wider Face进行扩充,实现数据增强,提高网络的泛化能力。运用YOLOv5算法分别开展数据增强前和数据增强后的人脸检测实验,并对实验结果进行对比分析,结果表明进行数据增强可以使算法的均值平均精度m AP@.5:.95有15.1%的大幅提升。(2)人脸检测算法改进。本文以YOLO系列算法中表现突出的YOLOv5算法作为基础算法进行研究,对YOLOv5的网络结构作出改进,首先利用Mobile Net V3来替换YOLOv5的原始主干网络,在保持精度下降不多的情况下大幅度减少模型参数量和计算量,提高检测速度;其次运用ECANet、CBAM、CA注意力机制分别对Mobile Net V3中的SENet注意力机制进行替换,保留更多有效信息,进一步提高网络性能,对未替换SENet注意力机制的算法和利用ECANet、CBAM、CA分别替换SENet注意力机制后得到的算法进行性能对比,选取四者中性能最优的YOLOv5-Mobile Net V3-CBAM算法作为下一步改进的基础算法;最后利用Bi FPN替换YOLOv5-Mobile Net V3-CBAM算法Neck部分的原始特征金字塔结构,提高多尺度特征融合的效率,进而提高网络检测的精度,得到了本文性能最优的YOLOv5-Mobile Net V3-CBAM-Bi FPN人脸检测算法,其均值平均精度m AP@.5:.95达到了93.4%,检测速度达到了298FPS。(3)人脸识别实验:制作人脸库,库中包含60张已知身份信息的人脸图像。并实地拍摄包含90个人脸的70张电梯内的人员监控图片。将改进后得到的性能最优的YOLOv5-Mobile Net V3-CBAM-Bi FPN人脸检测算法和本文其他人脸检测算法分别与现有的Face Net人脸识别算法进行结合,开展多个人脸识别实验,并对实验结果进行对比分析,验证本文设计的YOLOv5-Mobile Net V3-CBAM-Bi FPN人脸检测算法对高俯视角度人脸可以进行高准确率检测,并且能够落地应用,与Face Net人脸识别算法结合,对电梯中拍摄的高俯视角度人脸进行高准确率地识别,能够正确地判断出电梯内高俯视角度人脸的身份,为人脸识别电梯控制系统的开发做好技术准备。

基于毫米波雷达图像的车辆目标轻量化检测网络研究

这是一篇关于车辆目标检测,毫米波雷达,YOLOv5s,MobileNetV3,K-means,SENet的论文, 主要内容为基于二维毫米波雷达占据栅格图像(Two Dimensional Millimeter Wave Radar Occupancy Grid Image,2DMMWROGI)的车辆目标轻量化检测网络研究可以提高灾害应急救援人员在特长隧道等封闭空间发生灾情时的感知能力,加快救援速度,保障受灾群众的生命安全。基于运动载体的毫米波雷达可通过同时定位与构图技术(Simultaneous Localization and Mapping,SLAM)在封闭空间内实现自定位,并可穿透烟障、火障及高温场构建雷达占据栅格图像。该图像与单帧雷达点云相比具有更显著的目标轮廓语义特征,可辅助解决封闭空间火灾场景中的目标检测问题。本文研究了一种基于毫米波雷达图像的车辆目标轻量化检测网络,可在低成本边缘计算平台上部署使用。2D毫米波雷达占据栅格图像中的车辆目标特征以目标侧面与地面构成的二面角散射为主,与车辆的光学图像差异较大。以YOLOv5s为代表的轻量化车辆目标检测算法主要以光学图像为处理对象,尚未有针对毫米波雷达占据栅格图像目标检测的基线模型。针对该问题,本文采用迁移学习方法,利用已有的光学图像特征提取能力和少量雷达图像标注数据集,解决网络对雷达图像车辆目标检测的问题。此外,本研究基于NVIDIA Jetson Xavier NX平台要求对YOLOv5s模型进一步优化,提出了YOLOv5s-M(YOLOv5sMobile Net)模型。该模型采用MobileNetV3网络进一步减少了模型参数数量,但导致了精度下降的问题。针对该问题,本文采用K-means聚类算法改进先验框估计,并利用SENet(Squeeze-and-Excitation Network)注意力机制提升模型检测精度,完成YOLOv5s-MKS(YOLOv5s-Mobile Net-K-means-SENet)模型的搭建,具体的研究工作如下:(1)本文实现了一种利用2D毫米波雷达占据栅格地图进行目标检测的方法。首先对雷达图像进行标签标注,并将其转换为VOC格式的数据集,并完成了数据增广。其次,本文采用YOLOv5s深度学习网络作为基础模型,该模型已经利用光学图像的VOC数据集进行了预训练。最后,通过在雷达小样本数据上进行迁移学习,实现了模型的快速收敛和优化。(2)本文针对YOLOv5s网络在车辆目标检测任务中存在的网络参数数量过高的问题,提出了基于MobileNetV3的YOLOv5s-M网络。利用MobileNetV3替代YOLOv5s的部分主干网络,以降低计算复杂度和参数数量。本文在低成本边缘计算平台NVIDIA Jetson Xavier NX平台上部署网络并进行了实验,结果表明:本文的YOLOv5s-M模型相比原始YOLOv5s显著提升了检测速度,但降低了目标检测的准确率及召回率。(3)本文针对简化目标检测网络结构会导致检测精度及召回率下降的问题,提出了一种基于K-means和SENet的改进方法搭建的YOLOv5s-MKS模型。本文利用K-means算法对雷达图像数据的标签坐标进行聚类分析,以获取更符合2D雷达图像车辆目标分布的先验框。本文将轻量级注意力机制SENet应用到目标检测网络中,以增强特征通道间的相关性和区分度。本文在NVIDIA Jetson Xavier NX平台上进行了实验,结果表明:与YOLOv5s-M相比,本文改进的YOLOv5s-MKS在保持较低计算成本和参数数量的同时,显著提升了检测性能和速度。该方法能够达到36.29帧/秒的测试帧率,并且能够实时并准确地识别毫米波雷达图像中的静止车辆。

基于ResNet的虹膜识别算法研究及系统实现

这是一篇关于虹膜识别,深度学习,ResNet101,Iris-ResNest,知识蒸馏,MobileNetV3的论文, 主要内容为虹膜识别是一种基于人眼虹膜图案和纹理特征的生物识别技术,具备高度可信度、准确度和安全性。该技术在社会的多个领域都得到广泛实践和应用,对社会进步和发展产生了积极影响。虹膜识别是虹膜系统最重要的部分,但现有识别技术仍存在一些不足。首先,基于深度学习的虹膜识别算法主要使用普通卷积进行特征提取,忽略了通道之间的依赖性,缺少对主要特征相邻信息的提取能力,网络结构的信息提取呈现表征性不强的问题。其次,现有网络结构在提取信息时忽略了特征图信息的重要性分布,在提取信息时无法自适应地提取信息。最后,为追求识别性能,现有模型设计较为复杂,导致其硬件和计算资源需求较高,极大限制了模型的应用场景。本论文旨在对虹膜信息进行深度挖掘,设计出一个更加有效的虹膜识别算法,并将其部署在移动端进行应用。本论文的主要工作内容如下:1.本文利用增强型超分辨率对抗网络(Enhanced super-resolution generative adversarial networks,ESRGAN)对归一化后的虹膜图像进行高分辨率预处理。通过多级残差密集连接模块增强特征表达能力,并使用感知损失函数提升图像细节还原效果。本文在JLU-V6.0数据集上进行实验,验证ESRGAN的有效性。2.本文提出一种新的虹膜识别框架Iris-Res Nest。该框架从信息提取的三个方面对现有虹膜识别框架进行改进。第一,通过将Res Net101的首层7×7卷积层替换为3个连续的3×3卷积层,保持相同感受野的同时减小参数量。第二,引入自校准卷积(Self Calibration Convolution,SCC),将Res Net101中的第二层3×3卷积层替换为SCC,扩展每个卷积层的感受野,提高虹膜纹理相邻信息的特征提取和融合能力。第三,通过引入分裂注意力机制(Split Attention)对主干网络进行改进,根据不同通道分配权重,以更有效地提取虹膜的细节信息,使模型能够跨不同特征通道挖掘更多精细的虹膜信息。此外,本文针对Iris-Res Nest设计联合损失函数,该函数结合L-Softmax Loss和Center Loss,通过控制约束系数,实现增大不同类别类间距并减小同一类别类内距的效果,以提高模型对不同虹膜类别的区分能力,使虹膜特征有更好的区分度。最后,本文在公开数据集上进行对比实验,验证Iris-Res Nest的有效性。3.本文通过引入知识蒸馏(Knowledge Distillation)技术提升轻量化模型Mobile Net V3的性能并进行研究。首先,本文提出熵减少优化算法,对知识蒸馏流程进行优化,降低教师网络的信息熵复杂度,保留软标签中有用信息,去除无用信息,以提高知识蒸馏中教师模型软标签的有用信息占比。其次,本文在公开数据集对其进行实验分析,验证其优越性和有效性。最后,本文将蒸馏后的Mobile Net V3搭载到移动端并开发运行在手机上的虹膜识别应用以验证算法的实用性。

基于YOLO的轻量化番茄实时检测算法及移动端部署

这是一篇关于YOLO,MobileNetV3,番茄检测,模型剪枝,模型量化的论文, 主要内容为近些年来,深度学习在图像识别、语音识别、自然语言处理等领域取得显著进展,但在移动设备上应用深度学习模型存在诸多问题,有限的内存及计算资源影响了其在移动端的实用型和实时性。深度学习模型在目标检测领域亦得到了广泛应用,但同样的,其在移动设备上的应用部署依然存在着难点和限制。为了解决这些问题,学者们提出了许多改进策略,如模型加速、压缩、算法优化和硬件加速等方案。针对目前基于深度学习的番茄目标检测算法参数量多、计算量大、耗时长,且依赖于GPU等高算力设备的问题,本研究提出一种基于轻量化改进的YOLOv5算法实现对番茄果实的实时定位和成熟度检测,具体研究内容如下:(1)基于网络轻量化设计及模型剪枝技术,对YOLOv5s进行轻量化改进,主要工作为以下四点:首先使用单层下采样层代替原始的Focus层,有效提升了检测速度;其次利用轻量化网络Mobile Net V3的bneck模块重构YOLOv5的主干网,对特征提取进行加速,与基准模型YOLOv5s相比,参数量和体积大幅缩减了49.71%和61.58%,运算量也随之降低了48.61%;接下来对于Neck层进行通道剪枝,在0.5的剪枝系数下,模型体积进一步缩减了56%;最后使用遗传算法进行超参数优化,提升检测精度。本研究在自制的包含1700张不同成熟度番茄数据集上评估了改进后的算法,实验结果表明,改进后的模型THYOLO的参数量(params)和运算量(FLOPs)相较于基准YOLOv5s压缩了78%和84.15%,m AP则达到了0.969,在CPU平台上的检测速度为42.5ms,大幅提升了64.88%。(2)为了获得低延迟、高吞吐量的部署推理,使其达到实时检测的目标,本研究进一步利用NCNN(Nihui Convolutional Neural Networks)框架对改进后模型进行量化操作,通过实验数据分析与可视化结果可以看出,量化后的算法有较好的检测效果,特别是16bit量化后的模型在算力较低的移动端达到了平均26.5FPS的检测帧数,较基准YOLOv5s提升了268%,这样的结果能满足大多数场景在移动端平台上的实时性要求,同时模型体积缩减51.1%,且达到了93%的相近于基准YOLOv5s的检测精度。(3)针对目前基于深度学习的目标检测算法依赖于服务器等高昂设备,且在农业生产环境下部署不便的问题,本研究开发了一款基于Android端的番茄实时检测APP,搭载了经过轻量化改进及量化后的THYOLO模型,该APP可通过对手机摄像头的调用,在本地端实现对番茄果实的定位及成熟度判断,并且达到了实时性要求(24帧以上)。该APP上手简单,且手机作为便携式设备具有体积小,价格低廉的优点,更加适用于实际的农业生产环境。

非受控环境下的人脸检测算法研究

这是一篇关于人脸检测,高俯视角度人脸,MobileNetV3,注意力机制,BiFPN,人脸识别的论文, 主要内容为人脸检测是指在输入图像中确定所有人脸位置和大小的过程。近些年来,随着人工智能的飞速发展,人脸检测作为最热门的研究课题之一,已广泛应用于生活中的各个方面,例如智慧小区、校园门禁、刷脸支付等。目前,针对受控环境下人脸采集图像数据,人脸检测算法在检测准确率方面取得优异成果。受控环境下人脸图像具有清晰度高、采光好、面部无遮挡、无倾斜等特点。但现实生活经常出现非受控环境下人脸采集场景,相比于受控环境其图像更加复杂,所采集的人脸在姿态、表情、角度等方面具有多变性,因此非受控环境下的人脸检测研究更具有挑战性,人脸检测技术的关注点也从受控环境下的人脸检测逐步转移到非受控环境下的人脸检测。本文针对非受控环境下人脸检测的一种典型情况,即高俯视角度人脸检测问题展开深入研究,设计了一种针对高俯视角度人脸的高性能人脸检测算法YOLOv5-Mobile Net V3-CBAM-Bi FPN。为验证本算法有效,在电梯高俯视角度下抓拍图像中,运用人脸检测与识别算法开展图像中出现人物身份识别实验,实现对高俯视角度人脸的高准确率识别。本文主要研究内容有:(1)进行高俯视角度人脸数据增强,对数据集做出改进。具体方法是自采高俯视角度人脸数据集HOAFD,HOAFD共包含1399个受试者的8394张人脸图片,对每个受试者均采集0°、15°、30°、45°、60°、75°这6个角度的人脸图片。并选取其中699个受试者的角度为30°、45°、60°、75°等高俯视角度的2796张人脸图片作为本文的测试集,充分模拟生活中的高俯视场景。其余5598张人脸图片作为训练集加入网络对原始人脸训练集Wider Face进行扩充,实现数据增强,提高网络的泛化能力。运用YOLOv5算法分别开展数据增强前和数据增强后的人脸检测实验,并对实验结果进行对比分析,结果表明进行数据增强可以使算法的均值平均精度m AP@.5:.95有15.1%的大幅提升。(2)人脸检测算法改进。本文以YOLO系列算法中表现突出的YOLOv5算法作为基础算法进行研究,对YOLOv5的网络结构作出改进,首先利用Mobile Net V3来替换YOLOv5的原始主干网络,在保持精度下降不多的情况下大幅度减少模型参数量和计算量,提高检测速度;其次运用ECANet、CBAM、CA注意力机制分别对Mobile Net V3中的SENet注意力机制进行替换,保留更多有效信息,进一步提高网络性能,对未替换SENet注意力机制的算法和利用ECANet、CBAM、CA分别替换SENet注意力机制后得到的算法进行性能对比,选取四者中性能最优的YOLOv5-Mobile Net V3-CBAM算法作为下一步改进的基础算法;最后利用Bi FPN替换YOLOv5-Mobile Net V3-CBAM算法Neck部分的原始特征金字塔结构,提高多尺度特征融合的效率,进而提高网络检测的精度,得到了本文性能最优的YOLOv5-Mobile Net V3-CBAM-Bi FPN人脸检测算法,其均值平均精度m AP@.5:.95达到了93.4%,检测速度达到了298FPS。(3)人脸识别实验:制作人脸库,库中包含60张已知身份信息的人脸图像。并实地拍摄包含90个人脸的70张电梯内的人员监控图片。将改进后得到的性能最优的YOLOv5-Mobile Net V3-CBAM-Bi FPN人脸检测算法和本文其他人脸检测算法分别与现有的Face Net人脸识别算法进行结合,开展多个人脸识别实验,并对实验结果进行对比分析,验证本文设计的YOLOv5-Mobile Net V3-CBAM-Bi FPN人脸检测算法对高俯视角度人脸可以进行高准确率检测,并且能够落地应用,与Face Net人脸识别算法结合,对电梯中拍摄的高俯视角度人脸进行高准确率地识别,能够正确地判断出电梯内高俯视角度人脸的身份,为人脸识别电梯控制系统的开发做好技术准备。