基于时空信息融合与多尺度特征记忆增强的视频异常行为检测算法研究
这是一篇关于异常行为检测,监控视频,时空双维度特征,多尺度特征,记忆增强的论文, 主要内容为随着城镇化建设的迅猛发展和人民生活水平的提高,伴随着大量的社会治安问题出现。当前国家和人民对社会治安问题越来越关注,大多数公共场所已部署了大量摄像头,用于预防与监控公众场合中异常行为发生以保障公众安全。随着监控视频数据的指数级增长,传统的人工辅助的监控方式已无法满足视频监控的有效性要求,对监控视频的异常行为进行智能化检测分析具有重要的研究意义。近年来,深度学习技术在计算机视觉领域获得广泛应用,基于深度学习的视频异常行为检测算法研究也受到更多研究者的关注。由于异常样本和正常样本的不平衡导致了监督学习方法的应用受到了限制,而无监督学习方法正成为主流。其中,基于自动编码器和生成对抗网络的无监督学习方法是目前的研究热点课题。然而,此类方法仍存在一些不足之处:1)作为预测帧生成网络的自动编码器通常缺乏对连续视频帧之间的时间维度信息提取能力;2)由于异常行为通常发生在视频监控中的运动目标对象上,而现有的检测模型往往忽略了运动目标对象的空间维度信息;3)由于摄像机位置和视角原因导致运动目标对象空间尺寸的变化差异大;4)由于自动编码器网络强大的泛化能力,帧预测网络模型不但可以生成正常行为的预测帧,同时也能较好地生成异常行为的预测帧,导致预测误差较小而无法判别异常行为。为解决上述现有方法的不足之处,本文展开了如下的研究:(1)针对现有检测模型缺乏对连续视频帧之间的时间维度信息提取能力的问题,提出了一种将残差内部时间移位模块引入生成对抗网络生成器U-Net的改进方案。该改进措施通过将时间移位模块与2D CNN级联以此获得3D CNN的性能,并保持2D CNN低计算复杂度。同时,为了保持U-Net网络在学习时间维度特征的同时不造成空间特征学习能力退化,将时间移位模块添加至残差分支的内部形成残差内部时间移位模块以保持当前帧的激活,改进的预测模型能够有效地捕获连续视频帧之间的时间维度信息,进一步提升了检测算法的准确性。(2)为了解决网络模型忽略运动目标对象空间维度信息的问题,本文在U-Net的跳跃连接中引入注意力模块,对下采样前的特征图增加值得注意的特征通道和目标对象空间位置区域的权重,抑制其余无用的部分,能更有效地学习运动目标对象空间信息。引入注意力模块的网络模型能够有效提取运动目标的空间维度位置信息以及更关注前景中可能会出现异常行为的运动目标而淡化与异常行为发生情况无关的背景信息。改进的融合时空双维度特征的视频异常行为检测算法分别在UCSD Ped1、UCSD Ped2和CUHK Avenue数据集上进行实验验证,AUC值分别为83.8%、96.2%、85.5%,相较原模型分别提高了0.7%、0.8%和0.4%。此外,EER值分别为22.7%、11.2%和19.8%,比原模型下降了1.3%、0.8%和1.2%,进一步说明改进算法的有效性。(3)针对目标对象空间尺度变化大以及自动编码器网络过强的泛化能力等问题,提出一种基于多尺度特征记忆增强模块的视频异常行为检测改进算法,该算法能够有效地提取不同尺度特征信息的同时抑制自动编码器网络的泛化能力。首先,通过多尺度特征模块中多分支结构的空洞卷积在高级特征图上提取不同尺度的特征信息,其次将所得到的多尺度规则特征中的不同尺度正常行为特征通过记忆增强模块存储,在多尺度特征模块和记忆增强器模块的协同工作下能够有效地收集和记忆正常行为场景中的多尺度特征信息。在公开的真实场景数据集UCSD Ped1、UCSD Ped2和CUHK Avenue数据集上进行实验验证,AUC值分别达到了84.6%、97.1%和86.4%,EER值分别下降到了22.2%、10.6%和18.4%,通过与多个经典算法在AUC值和EER值等评估指标的横向比较下进一步说明改进方法的有效性。
基于特征融合的目标异常行为检测方法研究
这是一篇关于异常行为检测,视频预测,卷积神经网络,特征融合,轻量级注意力机制的论文, 主要内容为异常行为检测技术作为增强监控场所安全的一项重要科学技术手段,在国内外学术界引起了广泛地关注与研究。现实生活中易出现异常行为类型判断不清楚、检测准确度差等问题。为弥补上述不足,本文针对不同场景下的异常行为,分别采用有监督和无监督的学习方式对异常行为检测模型进行研究,以提升算法的检测性能,具体研究内容如下:(1)针对生活中收集的异常行为视频中行为类型定义不准确、缺少人工标记的问题,提出一种注意力与特征融合的未来帧预测异常行为检测算法,采用无监督学习方式对视频帧进行异常行为检测。在生成网络中,以U-Net网络结构为基础,首先改进了基础网络的下采样方式,以减少池化过程中的信息损失;其次引入轻量级高效通道注意力机制,对不同权重的分类特征进行激活,增强特征间的差异性,减少无关信息的干扰,提升网络性能;然后,为了融合图像的细节特征,提出BTE Net模块,用于U-Net深层编码器中,增强图像全局信息的依赖性;最后,构造一种新的提取特征模块,添加到网络特征图的输出部分,以更好融合图像中上下文的特征信息,提取出更加符合要求的关键信息作为输出图像。判别网络采用Patch GAN结构,使网络更关注于图像的细节特征。实验表明,改进后的算法提升了目标的检测精度,证明改进方法具有一定的时效性和鲁棒性。(2)针对现实生活中分类清晰的不同尺度异常行为检测准确率低的问题,提出一种基于YOLOv5自适应多特征颈部融合的异常行为检测算法。首先,针对不同场景、不同尺度的异常行为,自建两个数据集对改进网络进行性能测试;其次,采用结合自注意力机制的CSPT模块替换骨干网络的深层C3模块,关注图像特征的整体性,强化主干网络全局信息的提取能力;然后,颈部网络采用自适应双向特征金字塔结构,赋予特征层不同权重,自适应融合网络深浅层全局语义信息和纹理信息,提高网络的灵活性;最后,增加一个极小检测层SH模块,提取浅层小感受野特征图,提升网络对于小目标的检测精度,解决小尺度异常行为(如吸烟)识别难的问题。实验表明,改进后的算法提升了不同尺度下目标的检测精度,其检测速度也相对较优,满足实时检测需求。
基于特征融合的目标异常行为检测方法研究
这是一篇关于异常行为检测,视频预测,卷积神经网络,特征融合,轻量级注意力机制的论文, 主要内容为异常行为检测技术作为增强监控场所安全的一项重要科学技术手段,在国内外学术界引起了广泛地关注与研究。现实生活中易出现异常行为类型判断不清楚、检测准确度差等问题。为弥补上述不足,本文针对不同场景下的异常行为,分别采用有监督和无监督的学习方式对异常行为检测模型进行研究,以提升算法的检测性能,具体研究内容如下:(1)针对生活中收集的异常行为视频中行为类型定义不准确、缺少人工标记的问题,提出一种注意力与特征融合的未来帧预测异常行为检测算法,采用无监督学习方式对视频帧进行异常行为检测。在生成网络中,以U-Net网络结构为基础,首先改进了基础网络的下采样方式,以减少池化过程中的信息损失;其次引入轻量级高效通道注意力机制,对不同权重的分类特征进行激活,增强特征间的差异性,减少无关信息的干扰,提升网络性能;然后,为了融合图像的细节特征,提出BTE Net模块,用于U-Net深层编码器中,增强图像全局信息的依赖性;最后,构造一种新的提取特征模块,添加到网络特征图的输出部分,以更好融合图像中上下文的特征信息,提取出更加符合要求的关键信息作为输出图像。判别网络采用Patch GAN结构,使网络更关注于图像的细节特征。实验表明,改进后的算法提升了目标的检测精度,证明改进方法具有一定的时效性和鲁棒性。(2)针对现实生活中分类清晰的不同尺度异常行为检测准确率低的问题,提出一种基于YOLOv5自适应多特征颈部融合的异常行为检测算法。首先,针对不同场景、不同尺度的异常行为,自建两个数据集对改进网络进行性能测试;其次,采用结合自注意力机制的CSPT模块替换骨干网络的深层C3模块,关注图像特征的整体性,强化主干网络全局信息的提取能力;然后,颈部网络采用自适应双向特征金字塔结构,赋予特征层不同权重,自适应融合网络深浅层全局语义信息和纹理信息,提高网络的灵活性;最后,增加一个极小检测层SH模块,提取浅层小感受野特征图,提升网络对于小目标的检测精度,解决小尺度异常行为(如吸烟)识别难的问题。实验表明,改进后的算法提升了不同尺度下目标的检测精度,其检测速度也相对较优,满足实时检测需求。
基于深度学习的视频监控中异常检测技术研究
这是一篇关于深度学习,视频监控,残差神经网络,人体姿态估计,异常行为检测的论文, 主要内容为随着人工智能技术的不断发展,视频监控的应用范围不断扩大,人们在视频监控中不仅能够查看到监控画面,还能发现异常现象。异常检测技术是智能视频监控中的关键技术,它有助于智慧城市和平安城市的建设和发展,也有利于维护社会公共安全稳定,保障公民生命财产安全。对于异常检测,一个非常关键的环节就是要设计一种有效的、平稳的、能够对视频中的异常行为进行智能化处理的算法。在实际应用中,可以有效地实现多种真实情况下的高精度检测。本课题为基于深度学习的视频监控中异常检测技术研究,重点研究监控场景下的特征提取、人体姿态估计以及异常行为检测,主要研究内容及相关成果有:(1)鉴于传统方法在特征提取上的缺陷,研究了一种基于注意力机制和残差神经网络改进的特征提取方法,该方法利用注意力机制对不同通道的特征进行加权处理,并对无用信息进行了抑制,从而极大提高了对特征的识别能力。(2)设计了一种基于注意力机制改进的SE-Res Net特征提取网络和卷积神经网络CNN相融合的人体姿态估计模型,该模型可以通过联合残差神经网络和卷积神经网络来有效改善泛化性能,在MPII数据集上的人体姿态估计评价指标PCKh和m AP上取得优异成绩,通过实验结果的定量分析、对比分析、可视化分析等验证了本文提出的人体姿态估计模型可以实现复杂情景下的单人及多人的姿态估计。(3)提出了一种基于人体姿态估计的视频监控中的异常检测算法。算法以本文提出的人体姿态估计模型和基于有向无环图DAG-SVM的多分类方法为基础,实现了监控场景下的异常行为检测,为验证此算法,在数据集上进行了实验分析,对比其它算法在检测准确率和Kappa系数上取得了较强竞争力,达到了预期效果,证明了本文的异常检测算法能够适应不同视角,不同尺度的视频数据。(4)开发了基于本文所提出的人体姿态估计网络模型和异常检测算法的视频监控中异常检测系统,可以对视频监控中的人体行为进行精准的异常检测,进一步证明本文模型和算法的有效性和可行性。
基于生成对抗网络的视频异常行为检测方法研究
这是一篇关于异常行为检测,生成对抗网络,光流估计,门控注意力机制,循环残差网络的论文, 主要内容为基于智能监控的异常行为检测对社会维稳治安具有重要意义。本文对现有的异常行为的检测方法进行了归类和分析,并针对基于生成对抗网络的异常行为检测方法进行深入研究。生成对抗网络在异常行为检测方面表现较好,但传统生成对抗网络的检测方法存在浅层的时空特征利用率较低、深层网络训练使梯度消失等问题。本文在生成对抗网络的基础上,提出了两种基于预测思想的深度学习模型,主要研究内容如下:为解决生成网络中特征学习不充分的问题,本文提出一种融合门控自注意力机制的生成对抗网络视频异常行为检测方法。通过生成网络U-net的跳连结构逐层引入门控自注意力机制,在采样过程中抑制输入序列中与异常检测任务不相关区域的特征信息表达,关注与任务相关的视频序列的显著特征,为模型特征提取过程中的浅层特征和深层特征进行权重分配,从而更好地针对视频样本的空间维度的信息进行建模。判别网络采用马尔可夫判别器进行训练,两者通过对抗学习进行训练优化。同时,利用lite Flownet光流网络关注视频序列的时间维度特征来保证视频序列之间的连续性。为加强模型受噪声影响的抗干扰能力,在模型训练过程中加入强度损失、梯度损失和运动损失函数保证模型检测的稳定性以实现对异常行为的检测。本方法在CUHK Avenue、UCSD数据集上的AUC分数较高,在异常行为判定的准确率上达到较好的效果。为进一步地实现对视频的空间特征和时间特征地充分提取,本文提出了一种融合循环残差网络的生成对抗网络视频异常行为检测方法。此方法结合循环网络、残差网络和U-net网络的结构优势,针对生成网络模块进行优化。在生成网络U-net的卷积层中引入循环结构,在向下采样的卷积单元中引入残差单元,并将该层的输入特征与输出特征融合后作为下一层的输入。此结构对浅层特征深度利用,保证浅层特征信息损失的最小化。同时利用预训练好的Flownet网络进行视频序列的运动特征提取,生成光流预计图。最后将生成图像和光流预测输入判别网络中进行结果判定,得出真假结果。与基准模型相比本方法的AUC指标和生成图像的质量有了明显的提升,表明该模型在生成网络部分引入循环残差结构后,对特征进行有效提取。本文通过对异常行为检测算法的研究,发现了在视频场景下对时空维度特征提取的不足,进一步深入研究后提出了两种有效的解决方法,提升了异常行为检测的准确率,为检测算法的应用推广打下基础。
物流工业园区的异常行为检测系统的设计与实现
这是一篇关于异常行为检测,YOLO,目标检测,深度学习,模型剪枝的论文, 主要内容为随着互联网、电子商务的发展,目前我国的物流行业正处于蓬勃发展的阶段,但是在高速发展的同时又存在着许多容易被人们忽视的安全问题,如在工业园区违规使用手机、吸烟等的异常行为所产生的安全问题。采用实时监控与异常行为检测算法结合便是解决该问题的途径之一,即在不需要人力干预的前提下检测并记录物流园区所发生的异常行为。传统的基于数学方法的异常行为检测算法往往需要较大的时空复杂度,基于深度学习的异常行为检测算法可以简便地学习异常行为的特征以及较为快速地对异常行为进行识别。但是,目前已有的大多数据集只单独标注了一种异常行为,如果需要同时对多种异常行为进行识别则需要重新标注数据集,因而导致工作量以及模型识别时延的增加。因此本文提出基于YOLO的异常行为集成检测算法,该算法将YOLO的Backbone使用轻量级神经网络进行替换来提高速度,同时为增加普适性,将该Backbone进行结构调整并在所需要识别的异常行为开源数据集上进行训练来提高其特征提取能力,最后将该Backbone进行共享,将其提取到的特征输送到各自YOLO的Neck以及Head部分进行单独训练预测。为验证模型的性能,本文在四个开源数据集上与目前比较流行的异常行为检测算法进行比较。同时,本文设计并实现了一套前后端分离的异常行为检测系统。本系统将实时视频流传入检测模块,如果发生异常行为则会根据应用的异常行为检测算法进行标注并将该关键帧进行存储,便于后期进行责任划分,并且提供对所存储异常行为数据进行可视化分析的功能。本系统的前端是基于HTML的网页端应用,提供给用户简洁且易用的界面,后端采用Flask框架搭建Web服务,保证前端与后端数据的一致性。基于此完成了用户管理、实时检测、异常行为数据管理以及数据可视化功能模块的开发。
基于边缘视觉的矿山人员异常行为检测技术研究
这是一篇关于目标检测,异常行为检测,注意力机制,边缘设备的论文, 主要内容为煤炭能源是推动我国国民经济发展的重要支柱。矿山人员的异常行为易引发生产事故,从而影响矿山安全作业。传统依赖人力的视频监管模式效率低下,而基于高性能服务器的视频检测方法存在计算量及网络传输流量过大等问题,难以满足矿山实际需求。因此,本论文深入分析矿山人员异常行为特点,基于边缘设备建立智能化矿山人员安全检测平台,实现对矿山人员异常行为快速感知、实时检测。主要研究内容如下:(1)针对现有行为识别方法计算复杂度高以及检测类型单一的问题,本文提出了一种融合空间特征和时间序列的级联分析算法用于检测矿山人员的异常行为。首先利用基于空间特征的矿山人员异常行为检测方法对监控图像中矿山人员的行为进行分类,然后将行为分类结果输入时序队列中以分析矿山人员的长时间行为。最后根据矿山人员行为的异常程度来判定该人员是否存在异常行为。通过在企业实际监控视频数据上进行实验,验证了本文提出的级联分析算法可以有效地提高矿山人员异常行为检测的准确率。(2)针对YOLO-v7-tiny模型在矿山人员异常行为检测任务中存在模型参数量、计算量大以及在边缘设备上推理速度慢等问题,本文提出了一种更适用于边缘设备的RE-YOLO模型。首先利用Rep Block代替ELAN模块,有效地降低了模型的参数量和计算量,提高了模型的检测速度。接着在骨干网络关键位置嵌入高效通道注意力(Efficient Channel Attention,ECA)模块,提高了模型的检测精度。最后,在边缘设备Jetson Xavier NX和华为Atlas 500小站上进行实验,验证了本文所提出的RE-YOLO模型在计算量、参数量以及推理速度上均优于YOLOv7-tiny,实现了矿山人员异常行为的快速检测。最后,基于上述算法和模型优化策略,本文设计开发了基于边缘视觉的矿山人员异常行为检测系统,并将系统部署在华为Atlas 500智能小站。该系统主要包括监控设备管理模块、实时视频预览模块、矿山人员异常行为报警模块以及矿山人员异常行为信息统计模块,为矿山企业安全生产提供有效保障。该论文有图57幅,表18个,参考文献85篇。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设海岸 ，原文地址：https://m.bishedaima.com/lunwen/54538.html
