基于视觉的翻墙行为识别与研究
这是一篇关于行为识别,人体姿态估计,Python,关键点的论文, 主要内容为人体行为识别一直是计算机视觉的重要研究方向之一,目前其分类和数据收集方向大多偏向日常生活中的几类常见动作,缺乏对翻墙、翻窗等攀爬类危险动作的实时分析。如果将人体行为识别技术应用到对危险动作的日常监控中,可以节省大量的人力物力并避免不必要的伤害。但由于人体行为动作种类和动作环境极其复杂,图像或视频实时行为处理和识别时的计算量极其庞大,导致准确率不高和检测速度较慢,无法达到实时应用水准。为了改进这一问题,本文采用人体姿态估计和时空行为识别的处理方式,设计针对翻墙行为的识别系统。首先对公开数据集进行筛选和自行拍摄扩充,将翻墙行为和易混淆行为的数据集进行再标注来增强数据的针对性和多样性;其次对HRNet(High-Resolution Net)算法进行简化和精度优化并设计单人姿态估计检测网络,加入以Res Net50为骨干网络的目标检测网络对输入中多个目标进行标注预处理,再利用多目标追踪器对同一目标进行跟踪监测,确保高效准确地生成关键点序列;最后根据翻墙行为中关键点关联度,对ST-GCN网络邻域子集进行扩大并扩展时空注意力机制,再次提高准确率,形成针对翻墙行为的ST-GCN行为识别网络。在实验验证中,首先利用COCO数据集对单人姿态估计网络进行训练和测试,网络准确率达到90.7%;其次对目标监测网络进行简单评估确保网络性能稳定,再利用MOT20数据集对目标跟踪器进行测试,跟踪准确率达到91.9%、FPS为58,ID切换次数明显减少;最后在自建数据集上对ST-GCN翻墙行为识别网络进行训练和测试,网络准确率稳定在92.4%、FPS稳定在58。综上,本文设计的翻墙行为识别网络,行为识别针对性强、准确率高、可以适应多种角度和环境下的检测,一定程度上克服了跟踪目标丢失的问题,具有实际应用价值。
水域环境人员行为监控识别研究
这是一篇关于水域监控,行为识别,时空双流法,监控警报系统的论文, 主要内容为随着社会持续发展,使用智能及自动化技术来降低人力成本已是大势所趋,利用监控摄像头替代人力巡视工作就是其中之一。本文的研究范畴是布置在水域边的摄像头的监控信息,目标是通过这些采集摄像头的监控信息,据此识别岸边行走、落水、违规捕鱼等水域环境下的人员行为。有效识别异常行为能使管理部门及时发现意外情况,对快速开展救援行动以及查处违规行为具有重要意义。但是,目前的人员行为识别技术大多是针对全陆地场景,将其直接应用于水域环境效果不够理想。基于此,本文对水域环境下的人员行为识别进行了相关的研究,提出了针对水域环境下的人员行为识别的模型,并设计开发了一个监控视频人员行为识别警报系统。本文的主要工作如下:(1)为了能充分实现在水域环境中的人员行为的监控视频识别,本文建立了针对水域环境的人员行为视频数据集。通过对现有的监控视频进行筛选,截取出本项目所需要的具有代表性动作的监控视频片段。水域环境下的人员行为数据集是本文后续进行网络训练的基础,可以通过该数据集实现有针对性的训练。(2)为了提高对水域环境下的人员行为识别准确性,本文采用了以双流卷积神经网络为基础,将残差网络Res Net152以及CBAM注意力机制用于双流卷积网络之中的方法。通过引入这两种机制,双流卷积神经网络中时间流网络和空间流网络的识别效果都得到了提高,从改善了整个网络识别效果。(3)开发部署了监控系统前端部分。通过将实时识别系统部署在前端设备上的方式,实现了对监控视频人员行为进行实时识别的目的,从而避免了网络传输延迟造成的视频识别滞后的情况,同时,也减轻了后端系统压力。(4)通过采用Java配合Springboot框架、Mysql数据库以及Vue框架等技术,实现了针对水域环境监控视频中的人员行为识别警报后台系统。当前端有报警信息时,本系统可以进行声音提醒以及醒目的大屏提醒对异常行为进行识别警报,从而使相关部门对异常行为进行及时处理。本系统还实现了对异常行为出现时的视频进行保存统计的功能,此外还实现了模型算法管理及集中部署功能。
建筑工程施工现场不安全行为监测与识别技术——以汤山矿坑公园为例
这是一篇关于行为识别,无人机图像采集,监测平台系统,大型废弃矿坑的论文, 主要内容为随着建筑工程规模的不断发展,施工现场人员复杂、地形环境破碎、管理流程繁琐等问题越来越明显,这使得工地人员行为的监测管理愈发困难。另一方面,建筑施工场地内人员的不安全行为是一种较为普遍的现象,而建筑事故发生主要是由于人的不安全行为或物的不安全状态引起,而人的不安全行为造成的事故占比高达80%以上。因此,如何提升施工现场图像信息采集能力、对施工区域内人员的不安全行为进行有效的识别和预警,从而减少安全事故的发生,提高建筑工地建设效率和建设质量已经是工程从业人员关注的重点问题。在此基础上,大型废弃矿坑酒店项目作为近年来新型环境修复建筑工程,其地形破碎、高低起伏大的特点使得传统测点布设和图像采集变得更加困难,且现有研究缺少针对该种项目施工人员行为监测的应用案例。基于上述问题,本文从施工现场人员行为监测易受到施工地形等因素影响的问题出发,从施工人员不安全行为统计分析、测点优化原理、不安全行为识别算法、无人机图像采集以及施工人员不安全行为监测平台搭建等方面开展研究,并以汤山矿坑公园为具体案例,针对深坑酒店项目进行应用优化。具体研究内容及所得相关结论如下:(1)针对当前建筑工程施工人员行为监测受场地因素影响的问题,提出了基于统计分析的不安全行为监测测点优化布置思路,并基于此优化布置思路对我国2014年至2021年近8年间房屋市政工程生产安全事故进行统计和分析,得到六类常见施工人员不安全行为的监测等级由高到低为,1.高处作业未系挂安全带2.在未有防护高处临边作业3.施工区域内未带安全帽4.作业现场不走安全通道(走近路、小路,翻越栏杆)5.乘坐吊物升降装置6.吊物下行走、站立,同时得到六类不安全行为监测所涵盖的范围主要包括地形落差大处、施工区域外侧道路以及施工升降装置区域处。并基于统计分析结果确定基于统计分析的施工人员不安全行为测点优化布置和无人机图像采集共同进行的监测方案。(2)针对施工人员不安全行为如何识别的问题,采取CNN-LSTM的人体动作行为识别和YOLOv5物体检测共同工作的方法进行识别。分别以翻越栏杆和是否佩戴安全帽为例进行验证试验,试验结果表明,基于CNN-LSTM的人体动作行为识别算法误判的几率较低。此外,CNN-LSTM识别算法的识别效率可以达到30帧/s,可以满足建筑工程监测平台中实时识别的要求;基于YOLOv5算法的物体检测识别方法对佩戴和未佩戴安全帽的人体都能成功识别,并且对于重叠影像有较好的判断能力,在连续的视频中也能准确的进行识别、分类和跟踪标记。在本实验中的准确率为97.2%,可以满足识别算法在建筑工程监测中应用的需求。(3)针对施工场地监控布设后,剩余因高度落差产生的监控盲区,需要采用无人机图像信息采集手段进行补充。以中国矿业大学南湖校区博学楼为例进行无人机图像信息采集方案可行性验证,通过倾斜摄影图像采集分别成功得到了场地三维模型和TIFF格式的场地高程信息文件。进而将高程信息文件导入无人机遥控器中,进行仿地飞行实验,并成功得到按照高程信息飞行拍摄的图像。通过无人机遥控器屏幕显示的飞行高度数据和拍摄图像的信息,证明高程信息的准确性以及仿地飞行图像信息采集方案的可行性。(4)深坑酒店项目是在废弃矿坑修复项目的基础上形成的,具有典型的施工环境高度落差大、地形破碎的特点,导致人员行为监测困难。本文以汤山矿坑公园为例进行监测方案应用研究,利用基于统计分析的不安全行为测点优化布置原理进行测点布设,并与原方案进行监测效果对比。通过对比可知,优化布置方案在崖壁监测覆盖长度上优化效果明显,提高了40.33%,增强了对高度落差大处不安全行为的监测能力,说明优化布设具有良好的监测覆盖效果,且证明基于统计分析的不安全行为测点优化布置原理是具有优化效果的。(5)为了在工程实际应用中进一步提高信息采集功能,本文在汤山矿坑公园项目中引入优化设计的“智能安全帽”对施工人员不安全行为识别平台进行进一步的补充优化。通过“智能安全帽”数据调用试验,证明其对监测平台信息采集前端有良好的优化作用。同时轻量化识别模型与原模型的对比,对监测方案提出了改进建议:在具体应用时采集设备分辨率仍采用640,且原模型与轻量化模型可共同使用,进一步提高监测预警效果。该论文有图59幅,表13个,参考文献98篇。
面向嵌入式设备的人体异常行为检测算法
这是一篇关于嵌入式设备,目标检测,目标跟踪,行为识别,酒店安防的论文, 主要内容为针对当前酒店安防效率低下,网络摄像头不够智能问题,本文提出面向嵌入式设备的行为识别算法。该算法集成目标检测、目标跟踪与行为识别三个子算法,对酒店场景下的人体异常行为进行预警,形成酒店安全预警系统。由于嵌入式设备计算机资源有限,因而对YOLOv5进行改进,设计更轻量级目标检测算法。面对当前MOT算法严重依赖目标检测器的性能,加入Trial Net对目标检测器的输入进行判断,增强MOT(Multiple Object Tracking)的性能。针对酒店场景下的异常行为发生特点,将基于CNN的行为识别算法与手工特征相结合,设计更适合酒店场景下的行为识别算法。本文主要工作如下:(1)对传统的YOLOv5目标检测算法进行改进,去掉不适合在CPU/NPU设备上推理的Focus模块,然后引入Shuffle Netv2作为网络骨干,使其更适合部署到嵌入式设备上,再则考虑到本文的目标检测器只针对人体目标,对小目标的检测要求不高,因而设计tiny-SPP使得模型算力进一步降低,最终本文所提目标检测器模型大小为5.9M,在征程3开发板上的推理速度为78Fps,相比YOLOv5s的16Fps快4.8倍。(2)对当前MOT算法严重依赖目标检测器的性能,在Byte Track的基础上加入Trial Net来降低依赖性,有效缓解因本文设计的目标检测器性能追求速度而忽略精度的问题。最终T-Byte Track的跟踪速度比Byte Track快3.5倍,添加Trial Net使得T-Byte Track在速度上损失0.8FPS的代价下降低了误检数量,使得跟踪器性能指标有所提升。(3)针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究,而引起的行为判别能力低和误判等问题,提出一种基于Slow Fast架构的时间相关性注意力机制模型。首先,本文放弃光流而直接将视频数据作为网络输入,使得模型可以进行端到端训练;其次本文定义了一种由相关性注意力和时间注意力构成的时间相关性注意力机制,其中相关性注意力机制用于提取动作间的相关性信息,随后将信息输入时间注意力机制抑制无用特征;最后,针对Slow Fast在路径融合过程中,由于卷积核步长过大,而导致的特征间相关性丢失问题,提出更有效的连续卷积操作进行替代。在UCF101和HMDB51两个数据集上进行实验,结果证明本文所提方法与现有方法相比,精度和鲁棒性均有优势。根据酒店场景下的异常行为发生特点,将该算法与手工特征结合,设计出更适合酒店场景下的行为识别算法,在酒店进行实地测试的异常行为平均识别率达到98.17%。对训练好的模型利用BN融合以及模型量化等方法进一步降低模型的尺寸,加快模型推理速度,随后将整个系统部署到征程3开发板上运行,经过实地测试,酒店安全预警系统完全能够胜任酒店安防工作。
基于卷积神经网络的红外视觉人体行为识别研究
这是一篇关于红外热成像,卷积神经网络,目标检测,姿态估计,行为识别的论文, 主要内容为人体行为识别技术(Human Action Recognition,HAR)是计算机视觉领域的新兴研究方向之一,其在智能安防、机器人技术、运动员辅助训练等领域具有十分广阔的应用前景。目前,基于可见光视觉信息的行为识别技术不断发展,但其极易受到特殊外场环境(如夜间、大雾、沙尘等)的影响,而红外热成像技术具有不受光照影响、抗干扰能力强、全天候监测等技术优势。但红外图像存在目标空域表征信息匮乏、对比度低等缺点,采用基于可见光视觉信息的识别技术无法取得较好的检测效果。本文以红外视觉智能行为识别为研究背景,以全辐射热像视频为研究对象,以卷积神经网络为核心特征提取工具,提出一种融合目标检测、姿态估计、时序行为分类的多阶段红外人体行为识别框架。本文的主要研究内容如下:(1)针对红外行为识别技术特殊的数据集要求,采用Vario CAM(?)HD980红外热像仪获取全辐射热像视频,并建立红外人体目标检测数据集IR-HD、红外人体姿态估计数据集IR-HPE、红外人体行为视频数据集IR-HAR。(2)针对SSD目标检测模型计算复杂度较高,对小目标、遮挡等情况鲁棒性差的问题,提出一种改进的SSD红外人体目标检测算法。采用Mobile Net V2作为基础特征提取网络,实现模型的轻量化。引入FPN特征金字塔结构实现多尺度特征图融合,提高模型浅层特征图的表征能力。同时,融入SE通道注意力机制提高模型对关键通道信息的关注度。研究结果表明,改进后SSD模型检测精度提升了1.5%,模型推理速度提高了21.61帧/秒。(3)针对红外人体关键点检测精度低的问题,提出一种基于深度残差网络的改进CPMs姿态估计模型。基于Res Net-18网络提取初始特征,并采用跨阶段置信图融合策略增强阶段性输入特征图的空间特征信息,以缓解模型梯度消失的问题,提高骨骼点检测精度。最后,级联目标检测模型实现自顶向下的红外人体多目标姿态估计。研究结果表明,基于深度残差网络的姿态估计模型检测精度达到了87.3%,相较于CPMs提高了2.7%。(4)针对基于单帧红外图像进行行为识别,而忽略帧间时域信息的问题,提出一种基于人体关键点的时空混合模型。以人体骨骼关键点的笛卡尔坐标作为行为的空域表征信息,并构建多层长短时记忆神经网络实现红外视觉下人体连续性动作的高效识别。研究结果表明,基于姿态估计的时空混合模型对红外视觉下人体行为的识别精度达到了90.2%。
基于领域知识图谱的弱监督行为识别算法
这是一篇关于行为识别,骨架行为识别算法,领域知识图谱,图卷积的论文, 主要内容为随着人工智能技术的日益成熟,人工智能与竞技体育技战术分析相融合是提高技战术分析水平的重要途径。本论文研究针对空手道运动的技术特点,来改进人体行为识别算法,以提高算法在空手道技战术分析系统中的鲁棒性、实用性。目前,利用人体骨骼数据的时空图卷积模型的行为识别算法得到了越来越多的关注,也取得了很好的效果,但是应用在空手道技战术分析中,还是存在一些不足,针对这些问题,论文开展了如下工作:(1)很多行为识别算法所用到的训练及测试视频中都只包含单个行为动作,而在空手道技战术分析的实际应用中,只有长时间视频,包含多个行为动作,这导致识别精确度严重下降。本文利用已有的时序动作检测算法,将长时视频分割为一个个仅包含单个行为动作的视频片段,为行为识别算法提供更有效的输入数据源。(2)传统行为识别算法模型,大多都是基于开放领域的通用数据集进行训练,难以泛化到特定领域,而空手道这类竞技体育运动的数据集严重缺失,为运动行为识别增加了挑战与难度。本文设计了一个融入表达外部先验信息的领域知识图谱的端到端弱监督行为识别算法,有效的解决了空手道数据集严重缺失的问题。(3)在空手道这类竞技体育运动中,运动行为具有外界干扰因素多、方向变化频繁、移动快的特点,时空图卷积模型的性能又严重依赖于图的拓扑结构,目前常规拓扑图结构难以获取空手道这类竞技体育运动中有效的特征信息。论文利用德劳内三角剖分算法,改进拓扑图构建方式,并融入知识图谱的外部先验信息,增强了算法的鲁棒性与实用性。本论文针对上述传统方法的不足进行了详细研究,并提出了自己的创新思路。针对第(1)不足,本论文利用了已有的时序动作检测算法。论文解决其他几个不足的主要创新点如下:(1)本文预构建领域知识图谱,以及在算法过程中动态构建关键关节点知识图谱,设计了一个融入表达外部先验信息的领域知识图谱的端到端弱监督行为识别模型,可以在小样本空手道数据集上训练,并达到较高的识别精确度。(2)针对行为识别模型中拓扑图结构特征表达能力不强的问题,论文利用德劳内三角剖分算法,实现一种全新的拓扑图结构,能够更有效的提取骨架数据中的空间结构信息。(3)针对空手道运动的技术特点,融入知识图谱外部先验信息,使模型能够更充分的表达空手道技术动作的特征信息,增强了算法的鲁棒性与实用性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码海岸 ，原文地址：https://m.bishedaima.com/lunwen/45290.html
