基于视频的元素统计与分析研究
这是一篇关于帧间差分,光流估计,yolo-v3,目标检测的论文, 主要内容为广告,作为宣传一件物品或是一项理念的重要手段,广泛的出现在人们的日常生活中;无论是物品的宣传还是理念的宣传,都会给社会带来一定的商业价值或是向人们传播一类文化,因此,一段高质量的广告总会给社会的发展带来助力。随着社会经济的发展,早期的报纸、广播等传统的广告形式已逐步被在线广告所替代,在线广告也称网络广告,互联网广告,指的是在线媒体上投放的广告,与传统广告不同的是,在线广告在过去二十几年的发展过程中形成了以人群为投放目标和以产品为导向的技术型投放模式。与此同时,如今的在线广告的产品形态和业务逻辑更为复杂,如果想要对在线广告的创作上有宏观的掌控,必须从两个方向去探索,一是广告的内涵,即广告商业活动的定义与目的;二是广告的外延,即在线广告发展过程中产生的关键产品形态;因此,内涵与外延成为了高质量广告创作的代名词,人群的需求和产品的导向成为了高质量广告的高影响因子。大数据时代,所有的分析方法都是基于高质量的数据统计结果,因此,本文提出针对室内家居这一类视频广告做广告元素统计的方法,获取并统计视频广告中每一类元素出现的频率信息;本方法中主要涉及到帧间差分算法、光流估计算法以及深度学习中的目标检测算法;本文从以下三个方面应用这三个算法。(一)提出不同应用场景下的视频采样分析;通过实验对比帧间差分算法与SimpleFlow光流算法的召回率、准确率以及运行时间等指标,分析两种视频采样算法分别在补充训练集和服务端视频采样两种场景下的应用前景。(二)提出不同需求下的元素检测模型;本文在构建元素检测模型的过程中提出了三类需求,分别为检测速度与精确率兼具的模型、检测速度更快的模型和检测精确率更高的模型;针对这三类需求,本文以DarkNet和ResNet两类backbone网络为主体,改进深度学习中yolo-v3目标检测模型的anchor box和多尺度检测层的结构,实现三类需求下的广告元素统计模型。(三)提出家居广告元素统计平台的实现;利用前端框架Bootstrap与服务端框架Spring-Boot搭建家居广告元素统计平台,用户不仅可直接查看服务端存储的各个时间段的广告元素饼状图统计结果,还可以添加新的视频上传,经过关键帧提取以及广告识别模型刷新广告元素统计的结果。
基于深度光流估计的光学图像运动小目标检测
这是一篇关于动态背景,运动小目标,光流估计,局部特征匹配,光流异常区域检测的论文, 主要内容为运动小目标检测被广泛应用于农业、交通、军事等领域。在实际场景中,很多图像序列的背景是运动的,且目标尺寸较小,这就加大了运动目标检测的难度。目前的运动目标检测算法存在如下问题:复杂背景中图像配准的效果不理想、光流估计算法进行多次下采样使得小目标信息丢失、光流估计算法耗时较大。针对上述问题,提出了基于局部匹配的光流估计算法;在此基础上,采用Center Net对得到的光流场实现光流异常区域检测,即可实现运动小目标检测。最后,在红外尾焰场景中应用本文算法,检测性能良好。本文的主要研究内容如下:(1)提出了基于局部匹配的光流估计算法,减少了图像光流估计的耗时。对输入光流估计网络的两帧原图经过特征提取得到的两帧特征矩阵,该方法引入目标运动信息,缩小特征匹配的空间范围,对任一特征向量,只在其相关的局部区域进行特征匹配,减少待处理的数据量;设计分块局部匹配策略,引入批处理机制,避免逐点局部匹配策略数据处理耗时过大问题,在保证光流估计质量的前提下实现算法加速。(2)设计了一种基于CenterNet的光流异常区域的检测算法,使得目标检测有较高的准确率和召回率。设计了一种光流场归一化方法,放大了运动目标所在光流异常区域和背景的光流差异;设计了光流场扩维的方式,将2维光流场扩维得到3维光流图,使得和后续Center Net的接口保持一致;构造了无运动目标的光流图,加入Center Net的训练集,解决了因归一化带来的放大后噪声与目标难以分辨的问题。(3)在中远距离红外尾焰检测场景中,将仿真数据集经过合适的图像处理后,本文算法可以实现对尾焰目标的检测,检测性能良好。
多幅图像融合与超分辨率算法研究
这是一篇关于多幅图像融合,多帧图像超分辨率,图像序列长度,图像运动速度,光流估计的论文, 主要内容为多幅(帧)图像信息融合通过特定的算法将来源于同一场景的两幅或多幅图像的信息综合成一幅新的图像,从而能够获得比单一图像更丰富的信息,增强人们的视觉感知。多幅图像融合和多帧图像超分辨率是这一思想的两个问题。其中来自不同波段的多幅图像融合实现了不同波段的信息互补,而多帧图像超分辨率则通过融合相关帧序列增强图像的空间分辨率。在不同波段图像融合方面,红外与可见光图像融合是关注焦点之一,通过长波通道的红外图像与短波通道的可见光图像融合可以有效提升图像的视觉质量。然而利用人类简单的视觉经验来提取并组合两幅图像的信息并不能很好地保留有用信息,特别是可见光细节信息和红外热辐射信息。另一方面多帧图像超分辨率方法虽然在图像或特征对齐方面取得了显著成效,往往忽略了图像序列长度和图像运动速度对超分辨率性能的影响,并且大多方法基于全局考虑的,忽略了局部运动对图像超分辨率的影响。基于上述讨论,本文具体研究内容和成果如下:(1)视觉显著性引导的红外与可见光图像融合。本文提出了神经生物学为基础的视觉显著性模型来引导红外与可见光图像融合,即利用人类注视点预测的视觉先验信息引导红外目标检测,并通过多尺度特征提取的GAN框架实现红外与可见光图像融合。实验结果表明本文的方法在保留红外图像显著性目标的同时较好地保留了可见光图像的细节信息。(2)多帧图像超分辨率的影响因素研究。本文首先通过收集的静态视频数据研究了图像序列长度对超分辨率的重要性,进一步在公开的视频超分辨率数据集上研究了图像的运动速度对超分辨率性能的影响。结果表明实际中多帧图像超分辨率并不是帧数越多越好,需要维持在一定的范围内才能保持信息融合的有效性。此外多帧图像的运动速度对超分辨率性能存明确的影响,即图像运动越快则超分辨率效果越差。(3)图像局部运动的多帧图像超分辨率研究。本文首先从运动估计的泛化能力方面对RAFT光流对齐模块与Spy Net光流对齐模块进行了对比,并引用RAFT光流对齐模块改进Basic VSR超分辨率模型,然后运用对偶回归思想学习LR→HR映射和HR→LR映射,最后使用本文设定的阈值对LR图像进行局部运动划分,并引入结构相似性损失对图像的局部运动区域进行训练。实现结果表明,RAFT光流对齐误差明显小于Spy Net,而基于局部运动的多帧图像超分辨率方法确实提升了图像超分辨率的效果。
基于生成对抗网络的视频异常行为检测方法研究
这是一篇关于异常行为检测,生成对抗网络,光流估计,门控注意力机制,循环残差网络的论文, 主要内容为基于智能监控的异常行为检测对社会维稳治安具有重要意义。本文对现有的异常行为的检测方法进行了归类和分析,并针对基于生成对抗网络的异常行为检测方法进行深入研究。生成对抗网络在异常行为检测方面表现较好,但传统生成对抗网络的检测方法存在浅层的时空特征利用率较低、深层网络训练使梯度消失等问题。本文在生成对抗网络的基础上,提出了两种基于预测思想的深度学习模型,主要研究内容如下:为解决生成网络中特征学习不充分的问题,本文提出一种融合门控自注意力机制的生成对抗网络视频异常行为检测方法。通过生成网络U-net的跳连结构逐层引入门控自注意力机制,在采样过程中抑制输入序列中与异常检测任务不相关区域的特征信息表达,关注与任务相关的视频序列的显著特征,为模型特征提取过程中的浅层特征和深层特征进行权重分配,从而更好地针对视频样本的空间维度的信息进行建模。判别网络采用马尔可夫判别器进行训练,两者通过对抗学习进行训练优化。同时,利用lite Flownet光流网络关注视频序列的时间维度特征来保证视频序列之间的连续性。为加强模型受噪声影响的抗干扰能力,在模型训练过程中加入强度损失、梯度损失和运动损失函数保证模型检测的稳定性以实现对异常行为的检测。本方法在CUHK Avenue、UCSD数据集上的AUC分数较高,在异常行为判定的准确率上达到较好的效果。为进一步地实现对视频的空间特征和时间特征地充分提取,本文提出了一种融合循环残差网络的生成对抗网络视频异常行为检测方法。此方法结合循环网络、残差网络和U-net网络的结构优势,针对生成网络模块进行优化。在生成网络U-net的卷积层中引入循环结构,在向下采样的卷积单元中引入残差单元,并将该层的输入特征与输出特征融合后作为下一层的输入。此结构对浅层特征深度利用,保证浅层特征信息损失的最小化。同时利用预训练好的Flownet网络进行视频序列的运动特征提取,生成光流预计图。最后将生成图像和光流预测输入判别网络中进行结果判定,得出真假结果。与基准模型相比本方法的AUC指标和生成图像的质量有了明显的提升,表明该模型在生成网络部分引入循环残差结构后,对特征进行有效提取。本文通过对异常行为检测算法的研究,发现了在视频场景下对时空维度特征提取的不足,进一步深入研究后提出了两种有效的解决方法,提升了异常行为检测的准确率,为检测算法的应用推广打下基础。
基于生成对抗网络的视频异常行为检测方法研究
这是一篇关于异常行为检测,生成对抗网络,光流估计,门控注意力机制,循环残差网络的论文, 主要内容为基于智能监控的异常行为检测对社会维稳治安具有重要意义。本文对现有的异常行为的检测方法进行了归类和分析,并针对基于生成对抗网络的异常行为检测方法进行深入研究。生成对抗网络在异常行为检测方面表现较好,但传统生成对抗网络的检测方法存在浅层的时空特征利用率较低、深层网络训练使梯度消失等问题。本文在生成对抗网络的基础上,提出了两种基于预测思想的深度学习模型,主要研究内容如下:为解决生成网络中特征学习不充分的问题,本文提出一种融合门控自注意力机制的生成对抗网络视频异常行为检测方法。通过生成网络U-net的跳连结构逐层引入门控自注意力机制,在采样过程中抑制输入序列中与异常检测任务不相关区域的特征信息表达,关注与任务相关的视频序列的显著特征,为模型特征提取过程中的浅层特征和深层特征进行权重分配,从而更好地针对视频样本的空间维度的信息进行建模。判别网络采用马尔可夫判别器进行训练,两者通过对抗学习进行训练优化。同时,利用lite Flownet光流网络关注视频序列的时间维度特征来保证视频序列之间的连续性。为加强模型受噪声影响的抗干扰能力,在模型训练过程中加入强度损失、梯度损失和运动损失函数保证模型检测的稳定性以实现对异常行为的检测。本方法在CUHK Avenue、UCSD数据集上的AUC分数较高,在异常行为判定的准确率上达到较好的效果。为进一步地实现对视频的空间特征和时间特征地充分提取,本文提出了一种融合循环残差网络的生成对抗网络视频异常行为检测方法。此方法结合循环网络、残差网络和U-net网络的结构优势,针对生成网络模块进行优化。在生成网络U-net的卷积层中引入循环结构,在向下采样的卷积单元中引入残差单元,并将该层的输入特征与输出特征融合后作为下一层的输入。此结构对浅层特征深度利用,保证浅层特征信息损失的最小化。同时利用预训练好的Flownet网络进行视频序列的运动特征提取,生成光流预计图。最后将生成图像和光流预测输入判别网络中进行结果判定,得出真假结果。与基准模型相比本方法的AUC指标和生成图像的质量有了明显的提升,表明该模型在生成网络部分引入循环残差结构后,对特征进行有效提取。本文通过对异常行为检测算法的研究,发现了在视频场景下对时空维度特征提取的不足,进一步深入研究后提出了两种有效的解决方法,提升了异常行为检测的准确率,为检测算法的应用推广打下基础。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设项目助手 ,原文地址:https://m.bishedaima.com/lunwen/54510.html