融合多属性和局部特征的车辆重识别系统设计与实现
这是一篇关于车辆重识别,深度学习,局部特征,索引构建的论文, 主要内容为随着物联网飞速发展,海量的监控视频实时产生,传统人工检索和跟踪违法犯罪车辆耗费大量的人力和时间成本。因此,研究车辆重识别系统具有重要意义。车辆重识别本质上是一个图像检索问题,通过用户输入的车辆图像,从图库集中检索出其他摄像头拍摄的同一车辆图像。车辆重识别是计算视觉领域的重要研究方向,在交通安全、车辆跟踪等领域有着广泛的应用基础。但目前车辆重识别任务存在着不同摄像头下视角差异性大,局部特征提取不充分,检索耗时等问题。本文基于深度学习对重识别问题展开了研究,主要研究内容如下:(1)为了缓解车辆在不同视角下存在的差异性问题,本文利用带有丰富属性标注的合成数据集辅助车辆重识别任务。然而,合成数据与真实数据存在差异,导致模型的泛化能力受到限制。本文引入了领域自适应的对抗性训练,以充分利用合成数据集的标签,并提升真实数据集的属性识别能力。同时,研究了不同属性对于重识别的重要性,并采用注意力机制构建属性对最终识别效果之间的权重关系,以提升车辆重识别效果。(2)针对目前车辆重识别局部特征提取不充分的问题,结合车辆特有的方向信息提出一种方向性特征丢弃分支,该分支通过判断车辆的不同方向生成对应的Mask矩阵,迫使网络通过提取更广泛区域的局部特征进行重识别,最终有效提高车辆重识别效果。(3)设计并实现车辆重识别系统,根据用户输入的车辆图像,能够输出车辆相关的属性信息,并从图库中检索出目标车辆的其他图像。为了提高海量数据的检索效率,系统采用了向量索引技术,有效提升图像的检索效率。最后,对系统进行完整的功能测试和非功能测试,并展示了相关模块的操作界面。测试结果表明,本系统的功能能够满足需求,可以有效地帮助办案人员进行快速车辆检索,降低人工成本。
基于深度特征的细粒度图像检索方法研究
这是一篇关于卷积神经网络,细粒度图像检索,局部特征,目标定位的论文, 主要内容为细粒度图像检索是图像检索领域中具有广阔前景的课题,可应用于电商图像搜索、科研动植物图像搜索等领域。随着深度学习在计算机视觉上的成功应用,出现了许多基于深度学习的细粒度图像检索算法,但这些算法忽略了部分局部细节信息,导致了检索性能瓶颈。本文面向该问题,对细粒度图像检索方法展开研究,主要工作和贡献如下:(1)针对全局特征对细粒度图像描述不充分,忽略细节信息,造成检索性能瓶颈的问题,设计了一种融合全局与局部特征的三分支网络模型。该网络由一条全局分支和两条用于提取不同粒度局部特征的局部分支构成,其中,局部分支采用了切分特征图的策略,通过将特征图切分成不同数量的小块,使网络关注到局部区域上不同粒度的细节特征。考虑到细粒度图像的特点,本文提出了两种切分特征图的实现方式,一种是等分切分,另一种是根据感受野大小有重叠的切分。此外,为了对嵌入空间中的特征距离做出约束,引入了深度度量学习损失函数对网络进行训练。在网络完成训练之后,利用该网络模型分别提取全局特征和局部特征,通过晚融合将提取出的全局与局部特征融合,再进行检索。实验结果表明:与MPFE模型相比,本文设计的三分支网络实现简单,在鸟类数据集CUB-200-2011上的召回率(Recall@1)提高了 2.9%,在车类数据集Cars-196上的召回率(Recall@1)提高了4.1%。(2)针对三分支网络存在的局限性,设计了一种由目标定位模块和判别性特征提取模块组成的网络模型。首先,为了减少复杂背景的干扰,该网络在特征提取前引入目标定位模块,通过对卷积特征描述子进行筛选,将主要对象从背景图像中分离出来,滤除大部分的背景干扰。其次,由于利用切分特征图来提取局部判别性特征,会导致一些分块中只有极少量的目标对象信息,不利于网络的训练学习和整体性能的提升。为解决该问题,网络引入判别滤波器组作为局部特征检测器,通过判别滤波器组可以在原始特征图上直接提取局部判别性特征。实验结果表明:对比三分支网络模型,该模型在鸟类数据集CUB-200-2011上的召回率(Recall@1)提高了5.4%,在车类数据集Cars-196上的召回率(Recall@1)提高了 1.6%。(3)本文基于提出的算法设计了一款简易的检索软件,实现了检索结果的可视化。用户也可对结果做出反馈,以便更准确地查找到所需要的内容。该系统页面简洁,检索结果准确,可以较好地体现所提出方法的实用性和有效性。
基于注意力机制的多尺度点云分类方法研究
这是一篇关于注意力机制,Transformer,点云分类,深度神经网络,交叉注意力机制,局部特征,全局特征的论文, 主要内容为点云作为一种重要的几何数据形式,有效地提取其丰富的几何信息是各类点云数据处理问题的关键。点云几何信息包括点的空间位置关系、点特征通道之间的关系、点云局部几何结构关系。针对目前三维点云分类方法未能综合利用上述点云几何信息,提出了一种基于注意力机制的多尺度点云分类模型,以综合利用点空间位置关系、点特征通道之间的关系、点云局部几何结构之间的关系。首先,通过最远点采样和K最近邻算法获取多尺度点云块。其次,通过点注意力和通道注意力融合模块获取点云局部特征。然后,通过Transformer编码器进行每种尺度局部点云块之间的信息交互得到单一尺度点云块交互后的嵌入序列。最后,使用交叉注意力融合模块进行多尺度点云块特征融合。点注意力和通道注意力融合模块结合点空间和通道关系,有效提取点云局部几何信息;交叉注意力融合模块在一次时间复杂度下,能有效融合多尺度局部点云块特征以生成全局特征。在点云识别基准测试中,在Model Net40和Scan Object NN数据集中分别取得了93.9%和82.8%的准确率;在Shape Net Core v2数据集上进行预训练,然后在Model Net40和Scan Object NN数据集上微调,准确率分别达到94.3%和83.5%,相比之前方法取得了非常有竞争力的表现。因此,所提出的模型能有效捕捉点云不同几何结构的语义信息,使点云识别结果更加准确。该论文有图32幅,表12个,参考文献63篇。
基于多特征融合的人脸伪造检测算法研究
这是一篇关于人脸伪造检测,注意力机制,局部特征,深度特征,特征融合的论文, 主要内容为伪造检测作为人脸识别系统的防御手段,近年来得到迅速发展。随着深度伪造技术生成的图像或者视频越来越接近真实人脸,人脸伪造检测面临着巨大的挑战。为了应对复杂多变的伪造技术,本文通过将两种或者两种以上的特征进行融合来提高伪造人脸检测的准确率,主要研究内容如下:首先针对单一特征的局限性,提出一种基于注意力机制的伪造检测算法。算法通过加入注意力机制获取图像的局部特征,并将局部特征和主干网络获取到的全局特征进行结合,以进行人脸图像的伪造检测;其中全局特征选取Xception Net或者Res Net等主干网络获取;而局部特征是由在主干网络的基础上加入注意力机制获取,并引入多样性损失函数来迫使注意力图关注人脸不同区域,发现更多伪影特征。最后在Face Forensics++数据集上进行实验,提出的算法在不同主干网络上的检测精度均有所提升,其中基于Res Net-50主干网络的伪造检测算法在Face Forensics++c40上的测试精度可达94.93%,在Face Forensics++c23的测试精度可达98.36%;说明提出的算法用于检测伪造人脸是可行的。针对单一纹理特征或者深度特征不能很好地应对当前多样伪造技术的问题,提出了一种将增强后的纹理特征和深度特征进行融合的算法。提出的算法首先是采用Efficient Net-V2网络提取像素级图像中的浅层特征;其次将浅层特征输入深层网络和纹理增强模块两个分支中获取不同层次的伪影特征,并使用双线性池化将高维信息和低维信息进行融合;最后提出的算法分别在FFIW10K和Face Forensics++数据集上进行验证实验,在两个数据集上的准确率都取得了较好的结果,其中在Face Forensics++c23上的测试精度可达98.43%,在FFIW10K数据集上的测试精度可达95.56%,通过在两个数据集上进行实验,验证了提出算法的有效性。为了充分利用人脸区域中的全局、局部特征,使得局部特征在伪造检测过程中作为辅助信息指导全局特征,发现更多具有辨别性的差异特征,提出了基于多维度特征融合的伪造检测算法。提出的算法包括两部分;其一是由轻量级网络Mobile Net-V3生成局部激活图来获取局部特征,其二是由Xception Net提取的纹理深度特征融合成全局特征,将这两部分融合后得到多个维度的特征并用于检测真伪人脸;实验结果表明,提出的算法在Face Forensics++数据集上取得了良好的性能,在Face Forensics++c23上的测试精度可达98.75%,这一结果说明提出的算法具有较强的分类能力。
局部语义感知的细粒度草图检索
这是一篇关于草图检索,细粒度,局部语义,局部特征的论文, 主要内容为随着互联网上图像内容的急速增加,图像检索需求日益增加。目前主要的图像检索方法包括基于文本的图像检索和基于内容的图像检索。然而,基于文本的图像检索在检索复杂图像时存在困难,且需要大量人力进行标注;基于内容的图像检索也面临着获取输入图像的困难。与文本和自然图像不同,手绘草图表意丰富且易于获取,因此草图检索成为了一种更为理想的图像检索方法。草图检索可以分为粗粒度和细粒度两种,其中细粒度草图检索能更好地捕捉用户需求,其检索难度也更大。针对这一任务,研究人员主要采用基于度量学习的方法,即先提取全局特征,再通过优化将特征映射到一个统一的特征空间。然而,全局特征的使用导致模型只能感知全局语义,难以很好地感知更为重要的局部语义。因此,本文旨在研究局部语义感知的细粒度草图检索。为了让模型感知局部语义,本文创新性地提出使用局部特征完成细粒度草图检索任务,并提出了动态局部对齐网络(DLA-Net)。DLA-Net由局部特征提取器和动态对齐模块这两个部分组成。局部特征提取器使用ResNet50的中层特征图和局部L2正则化获取局部特征,动态对齐模块通过跨模态交互找到特征间的匹配关系,借此解决空间错位问题。实验表明DLA-Net在常用数据集上的检索准确率大幅超越了已有方法,并且其检索准确率首次在所有数据集上超越了人类。对于检索任务,检索时间也是需要考虑的重要指标。局部特征在大幅提升DLA-Net检索准确率的同时也降低了其检索速度,为此本文提出了针对局部特征的检索效率提升方法,该方法包含自交互背景特征消除模块和特征降维模块。自交互背景特征消除模块利用图像中前背景区域的先验信息定位并消除背景局部特征,特征降维模块使用1 × 1卷积降低特征维度,并使用二阶段的方式进行训练。实验表明这两个模块可以在保证DLA-Net检索准确率的同时大幅提升检索效率。最后,本文还基于上述提出的方法开发了细粒度草图检索系统,通过该系统对细粒度草图检索的落地应用进行了探索。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://m.bishedaima.com/lunwen/48635.html
