基于深度学习的酒盒产品标签瑕疵检测系统

这是一篇关于深度学习,目标检测,YOLOv4,瑕疵检测的论文, 主要内容为标签是产品的重要标识,其印刷质量的好坏优劣会直接影响着到产品的整体外观,当前针对标签瑕疵检测大多为人工目视检测,存在效率低、误检率高等不足,少部分为图像处理检测,对环境要求高、调试复杂、稳定性差,因此设计轻便高效的标签瑕疵检测系统具有重要的实际应用意义。基于深度学习的标签瑕疵检测系统通过大量的训练数据,可以学习到标签瑕疵的特征,并建立瑕疵识别模型。本文将深度学习领域相关检测算法应用到产品标签瑕疵检测中,研究一种基于YOLOv4改进的标签瑕疵检测算法,并搭建相应检测系统。以酒盒标签瑕疵为研究对象,围绕酒盒标签瑕疵检测,本文主要工作内容如下:(1)针对酒盒标签瑕疵建立数据集,并对数据集进行多种不同方式的扩充。针对深度学习中目标检测算法的发展和本文所研究的目标,使用自制酒盒标签瑕疵数据集分别进行不同目标检测算法的测试,包括Faster R-CNN、SSD、YOLOv4。经过实验结果分析、对比,以及检测需求,选择各项性能平均的YOLOv4算法进行改进优化。(2)针对基于YOLOv4的标签瑕疵检测方法存在精度低、推理速度慢与模型体积大等问题,现提出一种基于YOLOv4改进的标签瑕疵检测方法。首先将YOLOv4主干网络替换为Ghost Net,大大降低主干特征提取网络的参数量,缩小模型体积,其次在主干网络中加入注意力机制,在不增加计算复杂度的情况下强化特征提取能力,提高精度,接着使用蓝图卷积,降低算法计算复杂度的同时提高检测精度,实现轻量化,最后使用性能更好的激活函数。通过自制标签瑕疵样本集的试验,实测结果显示,所提改进算法轻量、高效,对比原算法,在m AP精度与检测速度上均有提升,模型大小降低,能够解决当前存在的问题。(3)针对本文所提改进的YOLOv4标签瑕疵检测算法以及产品生产中的实际需求,设计一套基于Qt Designer、Py Qt5、MYSQL的标签瑕疵检测系统,内含管理员与员工登陆、注册、单张图片检测、信息统计等,实现了对产品生产中对产品表面瑕疵检测需求。该系统现已在亳州福达印务有限公司进行使用,取得较好使用效果。

用于车载空调控制的手势识别研究

这是一篇关于手势识别,图像增强,目标检测,手部关键点检测,人机交互的论文, 主要内容为在这个智能化快速发展的时代下,车内的辅助操作越来越多,但相关操作也越来越复杂,在改变车内辅助操作的情况下,驾驶员的视线难免偏离驾驶路线,容易发生交通事故。为了简化车内相关系统的辅助操作并避免驾驶员视线偏离驾驶路线,本文以汽车空调辅助控制为背景,研究了使用手势识别来控制汽车空调的相关功能。论文的主要工作如下:针对驾驶过程中手势识别会受到光照过暗的影响而导致识别检测率下降或手势无法识别的问题,在Retinex-Net低光照图像增强算法上增加了残差模块并设计了FConv Net网络结构,提升了网络对于图像中色度、饱和度、对比度、边缘细节等信息的学习能力,有效抑制了噪声的产生,提高了算法在低光照场景的鲁棒性。针对手部区域检测存在漏检误检和置信度低的问题,在YOLOv7网络模型中加入了CA注意力机制。使得模型将更多的注意力放在了手部区域上,减少了特征图中的背景和一些冗余信息的干扰,有效提升了YOLOv7网络模型的识别精度,并减少了手部区域检测漏检误检的情况,置信度也随之提高。针对现有的手部关键点检测算法检测误差大的问题,设计了一种整体维度和参数量较少的hand UNet网络结构,使得网络模型更轻量化,计算量少运行速度更快,同时在hand UNet网络模型上做了多层特征提取和多层特征融合,使得网络模型准确率更高,检测效果更好。基于汽车空调辅助控制为背景,制定了控制车内空调的手势指令数据集并对采集的数据集进行了处理,提出了将Bi GRU网络与Capsule网络融合来进行手势指令识别,使得在提取手势特征时,既能提取时序特征,又能提取手势关键点的空间矢量信息,进而使得提取到的特征信息更加全面,有效提升手势识别的精度。搭建了车载场景下手势识别实验平台,对上位机与下位机进行了设计,使得上位机能够实时采集并识别手势指令,再根据通讯协议将识别结果发送至下位机,对下位机模拟的汽车空调相关功能进行控制,实现了对手势的实时采集、识别、传输与控制。

面向开放环境的增量目标检测系统

这是一篇关于目标检测,开放环境,增量目标检测,小样本目标检测,深度学习的论文, 主要内容为近年来,基于深度学习的目标检测模型取得了令人瞩目的成就。然而,当前的目标检测算法不能直接应用到开放环境中,因为开放环境为模型带来了以下两点挑战:(1)开放环境复杂多变,场景中未知类别样本多,普通的目标检测模型难以适应复杂的开放环境,需要频繁进行增量学习重训练。这导致极高的训练成本,影响模型实际落地应用。因此,需要设计面向开放环境的低成本增量目标检测模型。(2)开放环境中数据分布不均衡,部分类别样本数据量稀缺,为小样本数据。现有模型对小样本数据的特征提取能力弱,在小样本数据上训练会产生严重的过拟合问题,导致检测性能差。因此,需要设计一种面向开放环境的小样本增量目标检测算法。针对上述问题和挑战,本文开展如下工作:(1)针对开放环境中增量目标检测模型重训练成本高的问题,本文设计并实现了一种低成本增量目标检测模型,包括自适应的未知类别样本发现方法与跨模态的语义分类方法。在不影响模型性能的同时降低了模型的参数量以及数据集制作成本,实现低成本增量目标检测训练。(2)针对开放世界小样本训练场景下模型检测性能差的问题,本文设计并实现了一种小样本增量目标检测算法,包括梯度控制策略与基于数据外推的数据增广方法。其中,梯度控制策略能平衡各子任务梯度对模型性能的影响权重,有效缓解了小样本场景下模型训练的过拟合问题。基于数据外推的数据增广方法对样本数量极端稀缺的数据进行数据增广,有效提升了模型的检测性能。本算法在小样本增量目标检测任务上表现出色,取得了该类任务在CNN架构上的SOTA性能。(3)为简化模型开发、模型部署等工作,本文设计并实现了一个面向开放环境的增量目标检测系统。该系统对相关算法的开发流程进行封装,为系统用户提供包含数据管理、模型管理、模型训练、部署测试等相关服务,降低了模型开发者的工作量。

交通场景中基于深度学习的目标检测研究

这是一篇关于交通场景,目标检测,深度学习,二维图像,激光雷达点云的论文, 主要内容为交通场景中的目标检测是自动驾驶、智慧交通等领域的研究热点与难点问题,智慧交通以提高运输效率、保障交通安全、缓解交通拥堵为主要目标。目标检测技术是智慧交通系统中的重要组成部分,是环境感知的关键一环,在交通场景中起着至关重要的作用。在交通场景中,目标检测任务具有高度复杂性,尤其在特征提取过程面临巨大挑战。深度学习技术为目标检测提供了一种革命性的解决方法,取得了显著的进展,较传统算法在检测性能上更具鲁棒性,为交通场景的目标检测带来了新的机遇。本文基于深度学习的方法,凭借其对目标检测强大的特征提取能力,利用相机和激光雷达采集到的图像和点云分别进行目标检测,具体研究内容可分为以下几个方面:第一,在交通场景中,利用深度学习的方法对二维图像中的汽车、行人和自行车进行检测,采用一种一阶段目标检测模型SSD,并对SSD中的主干网络进行改进,加深特征提取网络的深度,使得提取到的不同级别特征越丰富,提取的特征越抽象,越具有语义信息。通过构建全新的数据集对模型进行训练,把改进的模型和一些经典目标检测模型在PASCAL VOC12数据集中进行对比,并且对实际采集的交通场景图片进行检测。第二,基于深度学习的多目标点云检测,主要检测交通场景中的汽车、行人以及骑行者。本文提出了一种轻量级的无先验框检测模型,该模型是基于Point Pillars检测模型进行改进而来的,在检测头的部分更换了一种无先验框的检测方法,使得该模型实现了速度与检测精度之间的平衡,搭建ROS平台可视化检测结果。与原始的Point Pillars模型和经典的点云检测模型Voxel Net进行比较,在KITTI数据集和更具挑战性的nu Scenes数据集上进行评估。第三,由本文提出的激光雷达点云目标检测模型在检测到目标后,实现了一种基于几何的距离算法,可以计算出本车与检测目标的实时距离,并在ROS平台进行可视化。本文使用的二维图像多目标检测器在PASCAL VOC12数据集中的检测结果表明,其均值平均精度m AP为82.3%,检测速度为43.6fps,达到了较好的预期效果。而激光雷达检测结果表明,在KITTI数据集中,在主要的评价指标中等平均精度上,本文使用的方法分别比Point Pillars和Voxel Net高出5.36%和5.20%,并且取得了51Hz的检测速度,在nu Scenes数据集中的表现也达到预期效果。

面向目标检测的零代码开发平台的设计与实现

这是一篇关于目标检测,零代码,领域驱动设计,OpenPBS,Spark Streaming的论文, 主要内容为近年来,人工智能技术应用广泛落地,对生产生活、公共服务、社会治理乃至全球竞争格局等领域产生广泛而深刻影响,基于深度学习的计算机视觉作为人工智能的重要领域之一,吸引了众多开发者和开发机构的关注。其中基于深度学习的目标检测任务更是需求激增,例如烟火检测、安全帽识别等,然而与之对应的目标检测服务则只有懂得人工智能的开发者或者开发机构才能提供,要求开发者了解目标检测相关理论模型,有一定的编程和数学基础,并不能满足日益多元化、自由化的企业需求,所以对于旨在降低开发门槛、提升开发效率的面向目标检测的零代码开发平台的开发需求激增。本文针对现有面向深度学习的低代码或零代码开发平台不支持本地部署而缺乏对训练数据隐私保护、数据上传功能单一、无实时信息统计、缺少资源管理等痛点设计并实现了面向目标检测的零代码开发平台,支持从数据管理、在线标注、模型管理、模型训练到结果展示、模型部署的一站式零代码开发服务,本文的主要工作和成果如下:(1)基于领域驱动设计实现了基于微服务架构的面向目标检测的零代码开发平台。基于领域驱动设计思想,本文通过战略设计完成平台子域的合理划分和领域模型到微服务架构的映射,实现了各个模块间的解耦,通过战术设计实现领域内部具体功能的设计和实现。(2)设计并实现了面向目标检测的零代码建模方法,并对现有平台的不足进行了改进。基于深度学习任务的开发步骤,定义了可视化的目标检测任务的开发流程,只需在Web可视化界面进行简单的点选即可完成目标检测模型开发。在全流程零代码建模中,在数据管理模块设计并实现基于哈希值验证的多并发文件传输方案,实现了大文件上传的断点续传和秒传功能,提升了传输速率,解决了大文件上传失败不可续传和同一文件重复上传问题;在在线标注模块,设计并实现了基于数据块的动态数据分配方案,实现了标注数据的动态分配,解决了团队标注效率低下的问题;在模型应用模块,设计并实现了摄像头配置集成及与模型连接推理功能,实时输出推理画面,大大缩短了模型投入使用的周期;支持系统本地部署,在保证用户训练数据隐私的前提下,实现了目标检测任务开发全流程零代码。(3)提出了基于OpenPBS集群的作业全生命周期管理和资源管理调度解决方案。基于OpenPBS作业调度和集群管理系统,设计并实现了作业开启、作业终止、作业占用资源和集群资源查询等功能,为模型管理模块的作业操作和模型应用模块的训练环境配置提供支撑,解决了传统方案中的缺乏对作业和资源有效管理的问题。(4)提出了基于Kafka和Spark Streaming的实时信息统计解决方案。基于分布式消息队列系统Kafka和流处理引擎Spark Streaming,设计并实现了对模型训练过程中产生的准确率、损失函数等参数的统计,支持绘制成曲线图和饼状图,实时展示训练中的各种实时参数,为模型管理模块的查看训练实时信息提供支撑,解决了传统信息传输中的高延迟、扩展性差、可靠性低等问题。经过系统测试以及与其他现有平台进行对比,可看出本文提出的面向目标检测的零代码开发平台有效地解决了现有基于深度学习的低代码或零代码开发平台不支持训练数据隐私保护、数据上传方式单一、无实时信息统计、缺少资源管理等痛点,更具可靠性、稳定性、灵活性、时效性。

基于机器视觉的橙幼果识别与病虫害检测方法

这是一篇关于深度学习,目标检测,橙幼果,数字图像处理,果实损伤检测界面,智慧果园的论文, 主要内容为橙是重要的水果品类和经济作物。橙幼果果情信息检测是制定果园管理策略的依据,对现代化、智能化果园生产具有重要意义。针对橙幼果果情自动化、规模化检测需求,本文提出基于深度学习的橙幼果识别和病虫害检测方法,主要研究内容及成果如下:(1)橙幼果背景去除方法研究。针对橙幼果颜色与背景相似导致传统方法识别困难的问题,提出了利用语义分割模型Seg Net去除图像背景以提高识别精度。首先建立橙幼果数据集,然后利用PSPNet、HRNet和Seg Net三种语义分割模型对数据进行处理,结果表明,Seg Net模型分割精度高于PSPNet与HRNet模型,其精确率、召回率、F1分数、MPA值和MIo U值分别为81.72%、82.06%、81.89%、81.17%和81.74%。基于学习率优化策略对Seg Net模型进行改进,改进后的模型的各指标分别为83.35%、84.79%、84.06%、82.34%和82.09%。对比原模型各指标分别提升了1.63%、1.73%、2.17%、1.17%和0.35%。所建模型实现了较高精度的橙幼果背景去除。(2)橙幼果目标识别模型建立。首先制作橙幼果识别数据集,数据集包含1500张经语义分割去除背景的图像,按3:1的比例划分训练集和测试集。对图像进行人工标注,使用数据增强的方法对数据集进行扩充后完成橙幼果数据集的构建。使用Faster-RCNN网络、SSD网络、单阶段检测模型YOLOv5s对橙幼果数据集进行训练,结果表明YOLOv5s模型的综合性能较优,其评价指标精确度、召回率、m AP值和平均识别时间分别为94.24%、96.98%、98.21%和0.067s。基于空洞空间卷积池化金字塔结构对YOLOv5s模型进行改进优化,结果显示改进后的模型即ASPPYOLOv5s的各指标分别为96.82%、96.20%、98.93%和0.071s。经语义分割后的图像的识别率满足目标需求。(3)基于深度学习的橙幼果损伤检测。依据橙幼果的常见损伤,本文构建了1200张由橙炭疽病、橙溃疡病、黑斑病和正常果实按照1:1:1:1的比例组成的数据集,使用未改进的YOLOv5s模型和基于注意力机制改进的YOLOv5s模型对数据集进行训练,结果表明改进过后的模型的平均精确率、平均召回率和平均m AP值均对比YOLOv5s模型分别提升2.5%、1.6%和1.1%。(4)基于Py Qt5平台的橙幼果病虫害检测界面设计。为了能直观显示病虫害橙幼果的信息,本文设计了基于Py Qt5平台的橙幼果病虫害检测界面,该界面能显示图像尺寸大小、果实病虫害类别和灰度值信息。研究结果表明,本文所提橙幼果识别方法和检测界面能够为果园管理提供橙幼果数量和质量信息。

基于深度学习的有监督与自监督水母检测与识别算法

这是一篇关于水母,目标检测,图像复原,YOLO,自监督的论文, 主要内容为近年来,水母灾害在我国渤海、东海及南海等海域频繁发生,这给海洋渔业、旅游业、沿海工业及船舶航行带来了巨大的损害。因此,水母的检测与识别成为迫切需要解决的问题。为解决上述问题,本文对水母检测算法开展深入研究。首先,基于Deep-Wave Net提出了Deep Wave Net-Lightning深度学习水母图像复原算法。建立了复原用水下图像数据集;提出了一种结合Look-ahead、梯度中心化两种模块的Adam W优化器;为降低算法处理时间,将结构中部分卷积替换成了深度可分离卷积;为去除水母的二次折射影响,添加了Sim AM注意力机制。评价参数及可视化结果证明了所提出方法的有效性。其次,建立了一个包含12种水母、1种鱼类的数据集。通过对YOLOv5进行改进得到了YOLO-CGF算法。具体改进为:针对YOLOv5中梯度信息单一问题,采用了轻量化模块C2F、重参数化Rep GFPN,对网络梯度路径进行了优化;针对YOLOv5中全局信息获取不足问题,添加了SPPFFCSPC＿G,扩展了网络感受野;针对YOLOv5中空间敏感度低问题,采用了FRelu激活函数,提高了空间信息利用率;针对YOLOv5中BBR损失不均衡问题,引入了WIo U损失函数,有效减少了预测框回归过程中的震荡。实验结果表明,在FPS达到180以上的情况下,相对于YOLOv5基础算法,YOLO-CGF在(0.5:0.95)阈值标准下m AP提高了3.1%。最后,为避免深度学习模型对大量标注数据的依赖,基于自监督掩码学习提出了检测算法MIM-SFJD。首先通过上游任务获取预训练模型,然后采用上游任务中的编码器,与FPN、Dynamic Head一起构建了新的下游检测网络,采用了ATSS策略和Focal Loss损失函数。实验结果表明,即使只进行了50个Epochs的训练,MIM-SFJD在(0.5:0.95)阈值标准下达到了58.3%的m AP,超过了本文提出的有监督算法YOLO-CGF的精度。本文的研究为搭建水下水母光学成像实时监测系统奠定了理论和技术基础,对我国沿海地区水母监测技术的发展具有重要的意义。

基于深度学习的林区卡口视频监控系统的研建

这是一篇关于森林防火,卡口监控管理系统,目标检测,B/S架构的论文, 主要内容为近年来,我国森林火灾频繁发生,对环境和经济造成的危害极大。在我国林业快速发展、森林覆盖率逐年升高的大趋势下,森林防火工作面临巨大的挑战。做好及时的监控和预防是森林防火工作的重要举措,因此研建林区卡口视频监控系统对于预防森林火灾具有非常重要的意义。本系统基于B/S架构,应用了基于深度学习的目标检测技术和基于Spring Boot框架的服务端开发技术,遵循MVC设计思想,将系统架构分为应用层、控制层、业务逻辑层和持久层,通过整合Spring Security权限控制框架、ECharts图表库、MySQL数据库等工具来实现了服务端监控管理系统部分,通过使用OpenCV搭建了人员车辆检测模块部分。本系统以林区卡口监控视频为基础,将卡口监控视频传输至服务端对林区入口进行实时监控,并通过人员车辆检测模块进行识别。林区工作人员通过后台管理系统部分可以进行视频监控、监控点管理、监控视频管理、监控截图管理、数据分析和系统管理等操作。林区卡口视频监控系统最终实现了包括人员和车辆的目标检测、监控数据存储与展示、消息推送与告警、数据统计与可视化等功能。本系统标准化了卡口监控视频的传输、检测、存储、展示和分析的处理流程,并及时提供反馈和告警,提高林区工作人员信息流转和处理的时效,从源头上及早发现森林火灾的隐患,达到减少森林资源损失的目的。

基于卷积神经网络的目标检测加速方案研究

这是一篇关于卷积神经网络,加速器,目标检测,编译器的论文, 主要内容为在卷积神经网络中,深度学习技术凭借其强大的特征提取能力、较强的分类能力,近年来在自然语言处理、语音识别、计算机视觉等领域都有广泛应用。但这种优异性能依赖于大量的参数量和计算量,随着卷积神经网络应用领域的不断扩大,与之对应的是需要有更好的硬件平台,其中就包括更高的计算能力和更好的数据带宽。目前行业内的佼佼者都在致力于挖掘各种基于芯片的解决方案。而CPU和GPU更高的功耗以及需要根据场景进行布置,此方法已经很难满足日常需求。因此通过专用硬件对卷积神经网络进行加速逐渐成为深度神经网络的重要发展趋势。为了卷积神经网络经济效率最大化目标,就必须实现硬件加速器通用化。有鉴于此,本课题基于神经网络加速器,对目前主流神经网络目标检测模型进行加速,在保证通用性的前提下,完成了加速的目标。本文的研究工作主要如下:通过对神经网络加速器体系架构以及内部各运算单元计算特性进行研究,完成加速器各功能寄存器的配置,在控制通路设计了一种FIFO状态信号配合多级流水的控制结构,解决访存模块相邻单元数据吞吐率不一致、跨时钟域传输、控制路径时序错误问题。对加速器各模块核心算法进行研究,设计加速器卷积模块与池化模块联合运行的工作模式,减少加速器对系统内存的频繁访问,提高数据带宽。通过对加速器内部数据通信方式的研究,完善内部总线协议并设计协议转换模块,为加速器与片上系统的集成提供条件,实现对加速器硬件系统的封装。通过对神经网络加速器软件开发环境的研究,分析编译器对神经网络的调用方式,提出模型量化方法,完成对目前主流神经网络模型的量化,设计数据格式转换程序,将量化后的模型转换为编译器所支持的数据结构,成功对网络模型进行压缩并完成编译。通过对运行时程序的研究,设计用户驱动程序,搭建虚拟测试平台,联合系统内核驱动,在虚拟测试平台实现卷积神经网络的正常运行。基于FPGA搭建神经网络加速器硬件平台,将加速器内部RAM代码转化为行为级描述,完成对加速器板上LUT资源的优化,使用APB与AXI总线协议对加速器进行FPGA映射。通过Petalinux植入嵌入式操作系统,优化加速器系统设备树,完成加速器硬件系统与软件环境的搭建。本文基于ZCU102开发板,完成神经网络加速器硬件优化以及软件设计,以手写数字识别网络对搭建的加速器硬件系统进行测试,系统工作频率为100 MHz,平均一张手写数字识别时间为2 ms。最后对目标检测网络进行实现,在仅消耗25%的板卡资源下,完成对目标进行识别,其速度可达16帧。