面向嵌入式设备的人体异常行为检测算法

这是一篇关于嵌入式设备,目标检测,目标跟踪,行为识别,酒店安防的论文, 主要内容为针对当前酒店安防效率低下,网络摄像头不够智能问题,本文提出面向嵌入式设备的行为识别算法。该算法集成目标检测、目标跟踪与行为识别三个子算法,对酒店场景下的人体异常行为进行预警,形成酒店安全预警系统。由于嵌入式设备计算机资源有限,因而对YOLOv5进行改进,设计更轻量级目标检测算法。面对当前MOT算法严重依赖目标检测器的性能,加入Trial Net对目标检测器的输入进行判断,增强MOT(Multiple Object Tracking)的性能。针对酒店场景下的异常行为发生特点,将基于CNN的行为识别算法与手工特征相结合,设计更适合酒店场景下的行为识别算法。本文主要工作如下:(1)对传统的YOLOv5目标检测算法进行改进,去掉不适合在CPU/NPU设备上推理的Focus模块,然后引入Shuffle Netv2作为网络骨干,使其更适合部署到嵌入式设备上,再则考虑到本文的目标检测器只针对人体目标,对小目标的检测要求不高,因而设计tiny-SPP使得模型算力进一步降低,最终本文所提目标检测器模型大小为5.9M,在征程3开发板上的推理速度为78Fps,相比YOLOv5s的16Fps快4.8倍。(2)对当前MOT算法严重依赖目标检测器的性能,在Byte Track的基础上加入Trial Net来降低依赖性,有效缓解因本文设计的目标检测器性能追求速度而忽略精度的问题。最终T-Byte Track的跟踪速度比Byte Track快3.5倍,添加Trial Net使得T-Byte Track在速度上损失0.8FPS的代价下降低了误检数量,使得跟踪器性能指标有所提升。(3)针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究,而引起的行为判别能力低和误判等问题,提出一种基于Slow Fast架构的时间相关性注意力机制模型。首先,本文放弃光流而直接将视频数据作为网络输入,使得模型可以进行端到端训练;其次本文定义了一种由相关性注意力和时间注意力构成的时间相关性注意力机制,其中相关性注意力机制用于提取动作间的相关性信息,随后将信息输入时间注意力机制抑制无用特征;最后,针对Slow Fast在路径融合过程中,由于卷积核步长过大,而导致的特征间相关性丢失问题,提出更有效的连续卷积操作进行替代。在UCF101和HMDB51两个数据集上进行实验,结果证明本文所提方法与现有方法相比,精度和鲁棒性均有优势。根据酒店场景下的异常行为发生特点,将该算法与手工特征结合,设计出更适合酒店场景下的行为识别算法,在酒店进行实地测试的异常行为平均识别率达到98.17%。对训练好的模型利用BN融合以及模型量化等方法进一步降低模型的尺寸,加快模型推理速度,随后将整个系统部署到征程3开发板上运行,经过实地测试,酒店安全预警系统完全能够胜任酒店安防工作。

面向嵌入式设备的人体异常行为检测算法

这是一篇关于嵌入式设备,目标检测,目标跟踪,行为识别,酒店安防的论文, 主要内容为针对当前酒店安防效率低下,网络摄像头不够智能问题,本文提出面向嵌入式设备的行为识别算法。该算法集成目标检测、目标跟踪与行为识别三个子算法,对酒店场景下的人体异常行为进行预警,形成酒店安全预警系统。由于嵌入式设备计算机资源有限,因而对YOLOv5进行改进,设计更轻量级目标检测算法。面对当前MOT算法严重依赖目标检测器的性能,加入Trial Net对目标检测器的输入进行判断,增强MOT(Multiple Object Tracking)的性能。针对酒店场景下的异常行为发生特点,将基于CNN的行为识别算法与手工特征相结合,设计更适合酒店场景下的行为识别算法。本文主要工作如下:(1)对传统的YOLOv5目标检测算法进行改进,去掉不适合在CPU/NPU设备上推理的Focus模块,然后引入Shuffle Netv2作为网络骨干,使其更适合部署到嵌入式设备上,再则考虑到本文的目标检测器只针对人体目标,对小目标的检测要求不高,因而设计tiny-SPP使得模型算力进一步降低,最终本文所提目标检测器模型大小为5.9M,在征程3开发板上的推理速度为78Fps,相比YOLOv5s的16Fps快4.8倍。(2)对当前MOT算法严重依赖目标检测器的性能,在Byte Track的基础上加入Trial Net来降低依赖性,有效缓解因本文设计的目标检测器性能追求速度而忽略精度的问题。最终T-Byte Track的跟踪速度比Byte Track快3.5倍,添加Trial Net使得T-Byte Track在速度上损失0.8FPS的代价下降低了误检数量,使得跟踪器性能指标有所提升。(3)针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究,而引起的行为判别能力低和误判等问题,提出一种基于Slow Fast架构的时间相关性注意力机制模型。首先,本文放弃光流而直接将视频数据作为网络输入,使得模型可以进行端到端训练;其次本文定义了一种由相关性注意力和时间注意力构成的时间相关性注意力机制,其中相关性注意力机制用于提取动作间的相关性信息,随后将信息输入时间注意力机制抑制无用特征;最后,针对Slow Fast在路径融合过程中,由于卷积核步长过大,而导致的特征间相关性丢失问题,提出更有效的连续卷积操作进行替代。在UCF101和HMDB51两个数据集上进行实验,结果证明本文所提方法与现有方法相比,精度和鲁棒性均有优势。根据酒店场景下的异常行为发生特点,将该算法与手工特征结合,设计出更适合酒店场景下的行为识别算法,在酒店进行实地测试的异常行为平均识别率达到98.17%。对训练好的模型利用BN融合以及模型量化等方法进一步降低模型的尺寸,加快模型推理速度,随后将整个系统部署到征程3开发板上运行,经过实地测试,酒店安全预警系统完全能够胜任酒店安防工作。

面向嵌入式设备的人体异常行为检测算法

这是一篇关于嵌入式设备,目标检测,目标跟踪,行为识别,酒店安防的论文, 主要内容为针对当前酒店安防效率低下,网络摄像头不够智能问题,本文提出面向嵌入式设备的行为识别算法。该算法集成目标检测、目标跟踪与行为识别三个子算法,对酒店场景下的人体异常行为进行预警,形成酒店安全预警系统。由于嵌入式设备计算机资源有限,因而对YOLOv5进行改进,设计更轻量级目标检测算法。面对当前MOT算法严重依赖目标检测器的性能,加入Trial Net对目标检测器的输入进行判断,增强MOT(Multiple Object Tracking)的性能。针对酒店场景下的异常行为发生特点,将基于CNN的行为识别算法与手工特征相结合,设计更适合酒店场景下的行为识别算法。本文主要工作如下:(1)对传统的YOLOv5目标检测算法进行改进,去掉不适合在CPU/NPU设备上推理的Focus模块,然后引入Shuffle Netv2作为网络骨干,使其更适合部署到嵌入式设备上,再则考虑到本文的目标检测器只针对人体目标,对小目标的检测要求不高,因而设计tiny-SPP使得模型算力进一步降低,最终本文所提目标检测器模型大小为5.9M,在征程3开发板上的推理速度为78Fps,相比YOLOv5s的16Fps快4.8倍。(2)对当前MOT算法严重依赖目标检测器的性能,在Byte Track的基础上加入Trial Net来降低依赖性,有效缓解因本文设计的目标检测器性能追求速度而忽略精度的问题。最终T-Byte Track的跟踪速度比Byte Track快3.5倍,添加Trial Net使得T-Byte Track在速度上损失0.8FPS的代价下降低了误检数量,使得跟踪器性能指标有所提升。(3)针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究,而引起的行为判别能力低和误判等问题,提出一种基于Slow Fast架构的时间相关性注意力机制模型。首先,本文放弃光流而直接将视频数据作为网络输入,使得模型可以进行端到端训练;其次本文定义了一种由相关性注意力和时间注意力构成的时间相关性注意力机制,其中相关性注意力机制用于提取动作间的相关性信息,随后将信息输入时间注意力机制抑制无用特征;最后,针对Slow Fast在路径融合过程中,由于卷积核步长过大,而导致的特征间相关性丢失问题,提出更有效的连续卷积操作进行替代。在UCF101和HMDB51两个数据集上进行实验,结果证明本文所提方法与现有方法相比,精度和鲁棒性均有优势。根据酒店场景下的异常行为发生特点,将该算法与手工特征结合,设计出更适合酒店场景下的行为识别算法,在酒店进行实地测试的异常行为平均识别率达到98.17%。对训练好的模型利用BN融合以及模型量化等方法进一步降低模型的尺寸,加快模型推理速度,随后将整个系统部署到征程3开发板上运行,经过实地测试,酒店安全预警系统完全能够胜任酒店安防工作。

面向嵌入式设备的人体异常行为检测算法

这是一篇关于嵌入式设备,目标检测,目标跟踪,行为识别,酒店安防的论文, 主要内容为针对当前酒店安防效率低下,网络摄像头不够智能问题,本文提出面向嵌入式设备的行为识别算法。该算法集成目标检测、目标跟踪与行为识别三个子算法,对酒店场景下的人体异常行为进行预警,形成酒店安全预警系统。由于嵌入式设备计算机资源有限,因而对YOLOv5进行改进,设计更轻量级目标检测算法。面对当前MOT算法严重依赖目标检测器的性能,加入Trial Net对目标检测器的输入进行判断,增强MOT(Multiple Object Tracking)的性能。针对酒店场景下的异常行为发生特点,将基于CNN的行为识别算法与手工特征相结合,设计更适合酒店场景下的行为识别算法。本文主要工作如下:(1)对传统的YOLOv5目标检测算法进行改进,去掉不适合在CPU/NPU设备上推理的Focus模块,然后引入Shuffle Netv2作为网络骨干,使其更适合部署到嵌入式设备上,再则考虑到本文的目标检测器只针对人体目标,对小目标的检测要求不高,因而设计tiny-SPP使得模型算力进一步降低,最终本文所提目标检测器模型大小为5.9M,在征程3开发板上的推理速度为78Fps,相比YOLOv5s的16Fps快4.8倍。(2)对当前MOT算法严重依赖目标检测器的性能,在Byte Track的基础上加入Trial Net来降低依赖性,有效缓解因本文设计的目标检测器性能追求速度而忽略精度的问题。最终T-Byte Track的跟踪速度比Byte Track快3.5倍,添加Trial Net使得T-Byte Track在速度上损失0.8FPS的代价下降低了误检数量,使得跟踪器性能指标有所提升。(3)针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究,而引起的行为判别能力低和误判等问题,提出一种基于Slow Fast架构的时间相关性注意力机制模型。首先,本文放弃光流而直接将视频数据作为网络输入,使得模型可以进行端到端训练;其次本文定义了一种由相关性注意力和时间注意力构成的时间相关性注意力机制,其中相关性注意力机制用于提取动作间的相关性信息,随后将信息输入时间注意力机制抑制无用特征;最后,针对Slow Fast在路径融合过程中,由于卷积核步长过大,而导致的特征间相关性丢失问题,提出更有效的连续卷积操作进行替代。在UCF101和HMDB51两个数据集上进行实验,结果证明本文所提方法与现有方法相比,精度和鲁棒性均有优势。根据酒店场景下的异常行为发生特点,将该算法与手工特征结合,设计出更适合酒店场景下的行为识别算法,在酒店进行实地测试的异常行为平均识别率达到98.17%。对训练好的模型利用BN融合以及模型量化等方法进一步降低模型的尺寸,加快模型推理速度,随后将整个系统部署到征程3开发板上运行,经过实地测试,酒店安全预警系统完全能够胜任酒店安防工作。

卷积神经网络结构化剪枝研究及应用

这是一篇关于深度学习模型压缩,卷积神经网络,模型剪枝,嵌入式设备的论文, 主要内容为在深度学习模型压缩领域,模型剪枝是一种流行且高效的算法,该算法能够在保证网络准确率的前提下,大大减少网络模型的计算量以及参数量,提高网络的推理速度,减少网络的内存占比。近些年,为了提高模型精度,卷积神经网络朝着更深更宽的方向演变,在特征提取的效率得到提升的同时,网络过于庞大的计算量和参数量都给网络的部署带来了困难,集中体现在一些硬件资源十分有限的嵌入式平台上。为了缓解网络越来越大,部署越来越难的压力,模型压缩领域在近些年得到飞速的发展。本论文以结构化剪枝作为出发点,为了使网络在保持精度不降的前提下实现更高的压缩率,本论文首先在流行的通道结构化剪枝算法上进行改良,裁剪掉更多冗余通道,随后,针对传统通道结构化剪枝算法的局限性,将剪枝重心从通道移向卷积核内部,在进行通道粗粒度剪枝的同时,进行规则化的细粒度结构化剪枝,使得剪枝算法变得更精准更高效。最后,在嵌入式平台上成功部署了加速后的车辆行人检测系统。主要的研究成果有:(1)针对传统通道剪枝仅仅考虑批标准层的方差因子进行剪枝的不完善性,综合考虑了网络批标准层的期望因子,方差因子以及激活层Re LU的影响,研究了一种基于批标准层以及激活层Re LU的通道剪枝方案。该方案利用高斯分布的特性,预测了部分通道经过激活层Re LU后参数会大部分置0。将这些通道剪枝,可以在保证不影响网络表达性能的前提下,减去冗余的特征通道,减小模型大小。通过对两种主流网络在不同的数据集上做了大量实验,验证了此方法的有效性以及通用性。例如,在CIFAR-10上,针对VGG-16,相比于基准网络,在计算量压缩了63.4%的情况下,准确率提高了0.04%,针对Res Net-56,在计算量压缩了71.2%的情况下,准确率只下降了0.14%。(2)针对网络结构中存在特征图维度匹配的硬性要求,如Res Net中的残差结构主干上最后一个卷积层的卷积核个数以及Inception网络中的级联操作前所有分支上最后一个卷积层的卷积核个数都不能改变,研究了一种正则化机制下的多粒度神经网络剪枝方法,设计从粗到细的多粒度剪枝策略,在稀疏化的同时维持了处于维度匹配位置的卷积层中卷积核的数量不变。并且,该方案提出一种自适应L1正则化的稀疏方式,可以使网络在更新参数的同时兼顾到网络结构的变化。稀疏化后的卷积核不仅有比原卷积核更少的参数和计算量,而且拥有更加优异的结构性质,使网络具有更高的表达能力。例如在CIFAR-10上,针对VGG-16,相比于基准网络,在计算量压缩了76.73%的情况下,准确率提高了0.19%,针对Res Net-56,在计算量压缩了82.54%的情况下,准确率只下降了0.14%。在Image Net上,针对Res Net-50,在计算量压缩了56.95%的情况下,准确率只下降了0.48%,优于现有先进剪枝方法。(3)在英伟达嵌入式设备Jetson NANO上搭建了剪枝后的车辆行人检测系统。首先,在服务器上,基于PASCAL VOC 2007数据集进行Yolov3网络剪枝前的训练,得到基准模型。然后运用同样的数据集和网络,加入多粒度神经网络结构化剪枝算法进行训练,得到剪枝后的模型。最后在嵌入式设备上搭建Qt系统,部署剪枝前后的网络,并分别在离线场景和现实场景下进行对比测试,验证了本论文研究方案在端侧部署的有效性。

电动车停车场火灾目标跟踪系统

这是一篇关于火灾检测,目标跟踪,卷积神经网络,轻量化模型,嵌入式设备的论文, 主要内容为电动车在充电过程中充电电池出现故障,容易自燃爆炸引发火灾。快速准确的火灾检测技术可以有效降低火灾带来的危害。本文首先设计了基于YOLOv5-Lite模型的轻量化火灾检测网络,其次提出了基于改进YOLOv5-Lite模型的小火焰目标检测网络来提高小火焰识别的精确度,最后结合视觉闭环PID控制算法设计了基于视觉的火灾目标跟踪系统,为消防水炮等设备提供火灾预警和目标跟踪等功能。主要研究内容和成果如下:采用YOLOv5-Lite目标检测模型作为系统的轻量化方案。传统的嵌入式设备一般内存较小、计算资源有限、难以流畅运行复杂的目标检测模型。为了加快模型在嵌入式设备中的检测速度,减小模型的尺寸,便于后续火灾目标跟踪功能的实现。YOLOv5-Lite模型在YOLOv5s神经网络模型的基础上进行了以下轻量化改进:采用Shuffle Net V2网络结构作为骨干网络;去除Focus层,避免多次切片操作;摘除Shuffle Net V2结构中的1024卷积层和7×7池化层;对颈部网络进行了剪枝操作。经实验验证,YOLOv5-Lite模型相比于YOLOv5s模型,火焰的平均检测精度下降了4%,在嵌入式设备中的检测速度由494ms/帧提高为96ms/帧,模型尺寸由15.3MB下降为3.4MB。加强模型对小火焰目标的检测效果。考虑到在火灾目标位置距离摄像头较远、火灾目标在摄像头视野中只占一小部分等情况,火灾检测模型难以快速准确的检测出小火焰目标。为加强模型对小火焰目标的检测效果,对YOLOv5-Lite模型进行了以下改进:在模型的骨干网络中加入协调注意力机制,同时引入EIo U损失作为模型的定位损失函数。经实验验证,在小火焰数据集中,改进YOLOv5-Lite模型相比于改进前,平均检测精度由66.14%提高为69.7%,检测速度由96ms/帧下降为102ms/帧,模型尺寸基本不变。最后,搭建了基于树莓派4B的电动车停车场火灾目标跟踪系统。采用基于改进YOLOv5-Lite模型的火灾检测方法获取火灾目标的位置信息,利用火灾目标坐标与视野中心坐标之间的像素偏差构建视觉PID控制器。视觉PID控制器控制云台转动从而带动摄像头转动,使得视野中的火灾目标转移至视野中心区域,实现火灾目标跟踪功能。经系统测试验证,系统的检测速度达到了10帧/s,当火灾目标距离系统5m到10m之间时,系统可以在5s时间内将火灾目标从视野边缘位置转移至视野中心区域,完成火灾目标的跟踪。

基于改进YOLOv5算法的棚内草莓检测研究

这是一篇关于卷积神经网络,目标检测,YOLOv5,草莓识别,嵌入式设备的论文, 主要内容为目前,我国已成为世界上最大的草莓生产国,草莓的种植面积和产量保持着逐年增长的趋势,但国内草莓的产量预估和果实收获主要还是依赖人工劳动,耗时且费力。随着农业现代化的发展,草莓采摘机器人和智能化信息监测技术逐渐成为研究热点,其中对成熟与未成熟草莓的精准检测是实现草莓估产、自动采摘的关键环节之一。然而,自然环境下生长的草莓密度较大,存在很多小目标果实,特征信息难以充分提取,这给草莓果实的精确识别造成困难,并且现有的卷积神经网络目标检测模型通常设计较为庞大,检测实时性差,难以满足实际果园应用需求。针对上述问题,本文以温室大棚内采集的草莓图像为研究对象,从提升果实识别精度以及轻量化模型两方面展开研究,提出了基于改进YOLOv5的草莓检测方法,实现了棚内草莓的快速、精准识别。主要研究内容与结论如下:(1)从提升草莓检测精度的角度出发,提出了一种改进的Accurate-YOLOv5模型。该模型通过在骨干网络中添加坐标注意力机制(Coordinate Attention,CA)来捕获跨通道信息、方向感知和位置敏感信息,突出草莓的重要特征,在颈部网络后引入自适应空间特征融合(Adaptive Spatial Feature Fusion,ASFF)模块来解决多尺度特征之间的不一致性问题,抑制不同尺度的冲突特征,丰富浅层特征层的语义信息,从而提升对小目标的识别能力,并使用SIo U Loss作为边界框回归损失函数来加强目标定位能力,提升边界框回归精度。研究结果表明,本文提出的Accurate-YOLOv5模型,在测试集上平均精度均值达到了95.19%,与初始YOLOv5s相比,提升了4.39%,与主流的高精度算法Faster-RCNN、Center Net、YOLOv4和YOLOX相比,改进的模型在检测性能上更具优势。(2)针对改进后的模型参数量变大,计算成本变高的问题,提出了一种基于轻量化改进的Light-YOLOv5模型。该模型设计了轻量级Ghost Net网络结构用于骨干部分的特征提取,使用GSConv搭建了Slim-Neck颈部网络结构并替换了ASFF模块中负责下采样的标准卷积,在减少特征融合结构参数量和计算量的同时保持了模型的识别精度。研究结果表明,本文轻量化的设计能够对网络参数量进行有效的精简,改进后的Light-YOLOv5模型在测试集上的平均精度均值为93.65%,网络参数量和浮点计算量为6.06 M、10.53 G,平均每幅图片检测时间仅需7.21 ms,各方面性能均优于初始YOLOv5s,与轻量级算法YOLOv4-Tiny、YOLOX-Tiny、YOLOv4-Mobile Netv2和YOLOX-s相比,该模型在识别精度、检测速度以及网络参数量上达到了良好的平衡,更利于移植到低性能的嵌入式设备。(3)轻量化Light-YOLOv5模型的应用研究。首先,在Jetson Nano嵌入式设备上完成了系统镜像的烧录、初始化的设置以及深度学习环境的配置;然后,将改进的模型权重移植到该设备上并进行了加速处理;最后,在此硬件平台上设计了棚内草莓检测系统,利用Py Qt5和Qt Designer制作了用户信息页面和检测主页面,并在检测主页面上提供多种功能选项,实现了成熟和未成熟草莓的检测与计数。综上所述,本文提出的Light-YOLOv5算法能够实现棚内草莓的快速精准识别,并拥有较少的参数量和计算量。该研究结果可为草莓智能化信息监测提供精确的目标信息,便于产量预估,同时可为果实采摘机器人的视觉系统研发提供重要的理论支撑。