基于联合深度学习的人体行为检测的研究与实现
这是一篇关于人工智能,深度学习,行为识别,目标检测,行为检测的论文, 主要内容为在人工智能和自动化操作迅速发展的当下,当前的视频监控平台已经不能满足社会的需求,而渐渐向智能化方向发展。在这个发展的过程中,基于深度学习的人体行为检测技术也成为国内外广大研究者的热点课题。人体行为检测是指在对人体行为进行识别的同时,还要进行人体定位。本论文在现有的行为检测技术的基础上,借助于深度学习的强大特征提取能力,采用深度网络对行为识别和人体定位进行了研究,提出了新的行为检测算法。对于行为识别,因为行为具有时间特性,所以在对视频进行特征学习的时候既要学习行为的姿态分布等空间特性,还要学习行为的时间特性,使得行为识别相对于物体识别更具有挑战性;对于人体定位是物体检测的一种特殊情形,主要是预测人体的外接轮廓,相对于普通的物体识别少了一个物体分类的要求。本论文重点研究了基于改进的卷积神经网络的行为识别算法和基于多任务联合学习的行为检测算法。具体的工作如下:1.在改进的残差网络(TP3D ResNet)和Two-stream框架的行为识别网络的基础上,以改进的残差网络作为特征提取器,并结合Two-stream用以人体行为识别,本文称之为T-TP3DResNet网络架构。此网络架构的两流网络采用的都是TP3D ResNet,通过TP3D卷积对视频中的行为进行外观和时间域上的学习,并使用双线性模型对网络进行融合。此网络架构由于其深度和两流网络对视频特征的良好学习能力,使得此网络在行为识别的性能上得到了很大的提升。2.本文在T-TP3DResNet行为识别网络的基础上加入了人体定位的网络结构,设计出了基于联合多任务学习的网络架构,此网络架构既能进行行为识别,又能进行人体定位。通过在行为检测上引入多任务联合学习的方式,在不同域的数据集进行训练,缓解了当前行为检测数据集数量不足、规模不大的问题。因此,此网络解决了异构数据进行联合学习的问题,也为视频和图像联合学习提供了新的方法。3.根据社会的市场需求,本文设计了基于C/S架构的人体行为检测平台。在本平台中,后台行为检测算法采用的是本文设计的基于联合多任务学习的行为检测算法,并设计了智能行为分析服务器和数据库服务器对客户端的操作进行服务,采用分布式管理的方法对本平台应用的嵌入式平台进行操作。
基于多信息关键点的驾驶员异常行为检测研究
这是一篇关于行为检测,异常行为,姿态识别,口罩识别,骨骼关键点的论文, 主要内容为道路出行车辆的增多使得交通事故也层出不穷,其中很大一部分是由驾驶员的危险操作引起的。驾驶员异常行为检测对提高驾驶员操作的安全性,降低交通事故的发生具有重要意义。在行为检测过程中,车内杂乱的背景和光线一直是影响其检测精度的难题;且驾驶员异常行为方式多样,还可能伴有其他物品出现,增大检测难度;结合近几年外出建议佩戴口罩的情况,口罩佩戴行为检测的需求增大。针对以上情况,本文主要的研究内容如下:1)提出一种结合骨骼关键点的驾驶员操作手机行为检测算法针对驾驶员操作手机方式多样,易出现漏检、误检等问题,提出一种结合骨骼关键点的驾驶员操作手机行为检测算法。算法构建了一个并行的二分支网络结构,利用Alpha Pose网络进行骨骼关键点检测,计算双臂夹角判定行为概率;采用结构化特征增强模块改进YOLOv5算法,并用其对驾驶员手部区域进行手机目标检测;融合行为概率与手部检测信息,综合判断驾驶员行为。实验结果表明,在多方位复杂背景环境下,本文算法检测的m AP为97.7%,相较于其他主流算法在检测精度和检测实时性上均有一定提升。2)提出一种基于姿态识别的驾驶员单手操作方向盘行为检测算法针对驾驶员单手操作方向盘行为具有多样性,且行为幅度范围广不易检测的问题,提出一种基于姿态识别的驾驶员单手操作方向盘行为检测算法。算法利用Alpha Pose网络模型对驾驶员的上半身骨骼关键点进行检测,进而连接关键点形成人体姿态特征,结合困难样本挖掘训练出驾驶员姿态模型,最终采用支持向量机进行目标分类,输出检测结果。实验结果表明,在多方位复杂背景环境下,本文算法检测的m AP为96.03%,相较于其他主流算法在检测精度上有一定提升。3)提出一种基于级联卷积神经网络的驾驶员口罩佩戴行为检测算法驾驶员规范佩戴口罩是安全健康出行的重要环节,针对公共场合复杂光照环境下驾驶员口罩佩戴行为检测率低的问题,提出一种基于级联卷积神经网络的口罩佩戴行为检测算法。采用注意力机制模块对级联卷积神经网络进行改进,并用其进行驾驶员人脸关键点定位,确定人脸区域框;将定位的人脸区域作为Mobile Net V2的输入数据进行口罩佩戴检测分类,最终输出检测结果。实验结果表明,在多方位复杂背景环境下,本文算法的口罩检出率和检测正确率分别达到93.88%和91.75%,相较于其他主流算法在检测正确率上有一定提升。
基于多信息关键点的驾驶员异常行为检测研究
这是一篇关于行为检测,异常行为,姿态识别,口罩识别,骨骼关键点的论文, 主要内容为道路出行车辆的增多使得交通事故也层出不穷,其中很大一部分是由驾驶员的危险操作引起的。驾驶员异常行为检测对提高驾驶员操作的安全性,降低交通事故的发生具有重要意义。在行为检测过程中,车内杂乱的背景和光线一直是影响其检测精度的难题;且驾驶员异常行为方式多样,还可能伴有其他物品出现,增大检测难度;结合近几年外出建议佩戴口罩的情况,口罩佩戴行为检测的需求增大。针对以上情况,本文主要的研究内容如下:1)提出一种结合骨骼关键点的驾驶员操作手机行为检测算法针对驾驶员操作手机方式多样,易出现漏检、误检等问题,提出一种结合骨骼关键点的驾驶员操作手机行为检测算法。算法构建了一个并行的二分支网络结构,利用Alpha Pose网络进行骨骼关键点检测,计算双臂夹角判定行为概率;采用结构化特征增强模块改进YOLOv5算法,并用其对驾驶员手部区域进行手机目标检测;融合行为概率与手部检测信息,综合判断驾驶员行为。实验结果表明,在多方位复杂背景环境下,本文算法检测的m AP为97.7%,相较于其他主流算法在检测精度和检测实时性上均有一定提升。2)提出一种基于姿态识别的驾驶员单手操作方向盘行为检测算法针对驾驶员单手操作方向盘行为具有多样性,且行为幅度范围广不易检测的问题,提出一种基于姿态识别的驾驶员单手操作方向盘行为检测算法。算法利用Alpha Pose网络模型对驾驶员的上半身骨骼关键点进行检测,进而连接关键点形成人体姿态特征,结合困难样本挖掘训练出驾驶员姿态模型,最终采用支持向量机进行目标分类,输出检测结果。实验结果表明,在多方位复杂背景环境下,本文算法检测的m AP为96.03%,相较于其他主流算法在检测精度上有一定提升。3)提出一种基于级联卷积神经网络的驾驶员口罩佩戴行为检测算法驾驶员规范佩戴口罩是安全健康出行的重要环节,针对公共场合复杂光照环境下驾驶员口罩佩戴行为检测率低的问题,提出一种基于级联卷积神经网络的口罩佩戴行为检测算法。采用注意力机制模块对级联卷积神经网络进行改进,并用其进行驾驶员人脸关键点定位,确定人脸区域框;将定位的人脸区域作为Mobile Net V2的输入数据进行口罩佩戴检测分类,最终输出检测结果。实验结果表明,在多方位复杂背景环境下,本文算法的口罩检出率和检测正确率分别达到93.88%和91.75%,相较于其他主流算法在检测正确率上有一定提升。
基于深度学习的电梯智能监控系统研究与设计
这是一篇关于电梯安全系统,智能监控,目标检测,行为检测的论文, 主要内容为电梯一方面为人们出行带来了极大的便利,另一方面也造成了许多安全问题。目前电梯多采用轿厢安装监控摄像头加后台监控室人工24小时监控的方式来保证电梯乘客的安全,但人工监控存在工作量大,效率低,发现异常不及时等问题。针对上述问题,在江苏省工信厅产业升级项目和苏州市重点产业技术创新项目的支持下,研究并实现了电梯智能监控系统,包括基于深度学习的轿厢禁入目标检测算法和乘客挡门行为识别算法研究以及智慧电梯云平台的设计与实现。该智能监控系统对保障电梯运行安全,提升电梯服务质量有重要意义。首先,根据电梯智能监控需求,确定研发目标,制定系统的总体架构。按照系统架构,分析轿厢禁入目标检测和乘客挡门行为检测问题,确定主要采用的方法。其次,研究基于图像的轿厢禁入目标检测算法,主要对违规进入轿厢的电动车及时检测和发出警示。首先对电梯监控视频进行预处理,筛选出有运动目标的帧。接着提出采用特征分流网络对Efficient Det网络进行改进,实现更为轻量化的框架,提高检测速度。测试表明,改进后的Efficient Det网络在保证精度的同时能达到更高的检测速度。再次,研究通过监控视频检测乘客挡门行为问题,提出基于生成候选视频段和融合2D和3D卷积的挡门行为检测方法。先用滑动窗口生成候选视频段,再用2D卷积和3D卷积相结合的行为识别算法对视频段中的行为进行识别,最后引入非局部神经网络,提高3D卷积的全局信息提取能力。测试表明该方法能够实现挡门行为的在线检测。最后,设计实现智慧电梯监控云平台系统,包括服务端、数据库以及客户端。服务端可实现对电梯运行数据、监控视频的自动采集,数据库实现视频、图片等数据的存储,客户端将运行数据、监控视频及其智能检测结果可视化展示。云平台系统的服务端、数据库和客户端共同实现电梯的智能云监控。
基于深度学习的实验室行为检测及其数字孪生系统设计
这是一篇关于深度学习,行为检测,数字孪生,实验室行为的论文, 主要内容为近年来,随着信息技术的快速发展,物联网、人工智能、大数据、数字孪生等先进技术正在不断涌现,并得到了广泛应用。实验室作为教育和科学研究的重要场所,其智能化水平的提高至关重要。为此,本文将深度学习和数字孪生技术相融合,提出了一种基于深度学习的实验室行为检测方法,并设计实现了一套实验室数字孪生智能监控系统,为实验室监控和教学管理提供了一种创新的数字化、智能化解决方案。本文的主要研究内容如下:(1)针对实验室场景下人体行为检测的问题,通过分析和比较多种人体行为检测算法,提出了一种基于目标检测算法YOLOv5的实验室行为检测方法。该方法不仅能够智能检测实验室行为,而且能够有效减少长时间视频行为检测中处理冗余信息所需的资源消耗;同时,根据行为的一般性构建了自定义实验室行为数据集,以进行算法模型的训练以及实验;为提高YOLOv5算法在实验室场景下对实验室行为的检测性能,针对算法中边框损失函数存在的缺点和激活函数的不足,引入了回归性能更好的边框损失函数CIOU和可自适应激活神经元的激活函数Meta Acon对算法进行了优化。经过实验证明,提出的检测方法能够实现实验室行为的智能检测,且优化后的YOLOv5模型在实验室行为检测的性能上表现更优,精确率、召回率和平均精度均值均有所提高。(2)基于数字孪生技术和实验室行为检测算法,设计了一个实验室数字孪生智能监控系统,并在对系统需求进行分析的基础上,设计了包含六层的系统总体架构;为了获取系统可用的实验室人员孪生数据,设计了一种基于实验室行为检测算法的数据获取方法,该方法可以将采集到的视频图像数据转化为系统可用的孪生数据。此外,在数据传输上,采用了基于Json的数据传输方式,使得数据传输更为高效;同时,为了实现系统客户端的远程数据通信,基于Node.js平台和Express框架设计并开发了云服务器,并基于Mongo DB数据库设计和实现了孪生数据的持久化存储、管理和共享。(3)为实现实验室的虚拟可视化映射,本文以Unity为核心,结合3ds Max、Substance Painter、C#等软件和编程语言,设计并实现了实验室虚拟场景的搭建、虚拟人物模型的实时数据驱动以及系统客户端的交互界面。根据实验室场景的主要特征,一方面,本文构建了虚拟模型,搭建了实验室虚拟场景,从而实现了实验室场景中的静态特征映射;另一方面,本文设计了虚拟人物模型的实时孪生数据驱动方法,该方法通过结合于3ds Max制作的骨骼动画和Unity的人形动画系统构建了虚拟人物模型的动态行为特征,并基于C#脚本实现了孪生数据的请求、处理以及对虚拟人物模型的数据驱动,从而实现了实验室场景中的动态特征映射。最后,本文对系统客户端进行了测试,测试结果表明,系统能够实时、有效地实现实验室的虚拟可视化监控,且具有良好的性能。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://m.bishedaima.com/lunwen/54715.html
