特征表示学习中的信息挖掘策略研究
这是一篇关于特征表示,多视角学习,小样本学习,协作表示,特征降维,子空间学习的论文, 主要内容为随着传感器和计算机技术的发展,人们见证了信息的超载和数据特征的爆炸式增长。通常这些数据具有数千甚至数十万个维度,严重制约了现实视觉任务的计算效率。为了解决这一问题,学者们提出了许多特征表示方法来挖掘数据中真正有用的信息。本文立足特征表示学习领域,分别围绕子空间学习、多视角学习和小样本学习任务,研究具有更高识别率的分类算法。论文所取得的研究成果如下:首先,针对基于协作图的判别分析(CGDA)没有充分挖掘数据全局几何结构,忽视了类间抑制关系的问题,提出了一种基于完整表示的特征提取与多级子空间投影(Cr FESP)算法。Cr FESP在特征提取阶段提出了抑制表示的概念,将每个样本表示成其余所有不同类别样本的线性组合,并为每个样本构建了基于协作信息和抑制信息的完整表示信息,采用图嵌入框架将样本的局部协作信息加入到类内协作表示方阵,全局抑制信息加入到类间抑制表示方阵中,通过构建图拉普拉斯线性核方阵将特征提取和子空间投影融合成一个统一的框架。同时,针对投影子空间包含的新生成的特征信息和原空间投影后的少量冗余信息,设计了一种多级子空间投影方法,采用迭代求解的策略在子空间中继续挖掘新增特征信息的全局和局部几何结构。为解决完整表示信息随投影子空间层数加深而逐渐减少且会丢失大量有效信息的问题,Cr FESP提出了一种基于多级子空间的跳跃构图方法对子空间中的构图方式进行约束,提高在了在深层子空间中获取数据完整表示信息的稳定性。考虑到上述构图方法的计算效率会随着实际问题规模的增大而逐渐降低,提出了基于多图学习的快速Cr FESP算法(Cr FESP-F),在计算基于协作表示和抑制表示的完整表示的过程中,引入与之相关的拉普拉斯图,加强了对样本边缘信息的获取能力。为了降低抑制表示计算和多图学习带来的时间复杂度的增加,Cr FESP-F采用类与类之间抑制关系代替Cr FESP中样本与样本之间的抑制关系,提高了算法的计算效率。其次,针对传统的多视角学习方法无法同时考虑多个视角对信息,本文提出了基于特征表示和互相关信息的多视角网络(Mv FRCI-Net)。Mv FRCI-Net将特征表示学习引入到深度多视角网络中,并提出了基于多视角的协作表示的概念,将每个单视角样本数据表示成其余不同类视角的同类样本数据的线性组合。此外,为了增强不同视角之间信息的多样性和互补性,Mv FRCI-Net采用了多种交互信息(多视角协作表示类内散度矩阵和互相关矩阵)对各视角之间的相互关系进行描述,并分别使用一种交互网络提取两种深度交互信息,然后与单视角信息进行特征融合。该方法作为一个统一的框架,同时考虑了多视角信息在单视角、多视角和多视角对中的信息分布。最后,针对传统小样本学习方法采用图像级特征分类存在分类精度不高,特征提取不充分的问题,提出了基于融合特征表示空间深度局部描述子的深度最近邻神经网络(F-FRSD)。该方法将特征表示引入到小样本学习中。针对数据在原始空间存在冗余信息的问题,F-FRSD采用类抑制表示来描述不同类别之间的判别性,并通过图嵌入框架将数据“伪投影”至低维子空间。针对小样本特征稀缺的问题,FFRSD采用类线性核将数据样本映射到高维核空间中来为小样本数据提供更丰富、更灵活的表示。此外,F-FRSD改进了DN4采用“图像-类”度量的训练方式,提出了“特征空间-类”的度量方法,使用可学习的融合特征空间深度局部描述子取代了图像级局部描述子,提升了小样本任务的分类性能。
视觉SLAM系统中基于深度学习的回环检测算法研究
这是一篇关于视觉SLAM,回环检测,卷积神经网络,特征降维,注意力机制的论文, 主要内容为随着机器人技术的发展和广泛应用,要求机器人能够智能自主感知周围环境和自身位置,为实现更高级别的任务提供位置和环境信息。视觉同步定位与建图(VSLAM)技术是实现机器人自主定位和环境感知的有效手段,成为近年来的研究热点。为了减少系统误差,得到全局一致的建图结果,会在系统中引入回环检测模块。传统的回环检测依靠人工设计的图像特征判断两幅场景图像的相似性,进而判断是否是回环。而近年来,随着深度学习的长足发展,基于卷积神经网络(CNN)的图像特征提取技术被认为优于基于传统人工特征的方法。CNN在解决回环检测的问题上,能够避免传统方法易受光照等环境因素干扰的缺点。本文将利用深度学习的方法对回环检测进行以下研究:首先,针对目前基于CNN预训练模型的回环检测算法中使用PCA降维存在检测精度降低的问题,提出了一种基于KPCA降维的CNN回环检测算法。该方法使用KPCA对经由CNN预训练模型提取到的特征矩阵进行降维,并提出约束验证策略以提高检测精度。在两种CNN模型,VGG16和Res Net34上进行降维方法的对比,实验结果表明KPCA将特征矩阵降维到100维后拥有更高的准确率。在加入约束验证策略后,本文所提出的算法对比传统方法和其他基于深度学习的方法有较大提升,在PR曲线和平均精度上有更好的表现。然后,针对基于深度学习回环检测中使用CNN预训练模型无法充分利用深度学习端到端的优势的问题,提出一种端到端的图像特征提取-聚合回环检测网络。该网络使用Res2Net残差结构和通道注意力机制对Res Net50网络进行改进,作为网络中的特征提取器,结合Net VLAD层对图像特征进行聚合,并使用弱监督三元组排序损失函数训练网络模型。在Pittsburgh250k数据集上的实验表明,所提出的网络对比改进前的Net VLAD和轻量级Mobile Net VLAD在Recall@N的指标下有更好的表现,能够完成回环检测中同一地点的识别任务,并且相较于仅使用CNN预训练模型的方法有较大性能提升。最后,将所提出的Res2Net-SE-Net VLAD网络用于改进基于CNN的DXSLAM系统,实现理论在SLAM系统层面上的应用。本文使用Res2Net-SE-Net VLAD网络替换DXSLAM中的全局特征提取线程,实现对其重定位和回环检测模块的改进。通过采用局部深度特征计算相似度,全局深度特征排除伪关键帧的方式完成回环检测。实验中使用带有回环属性的TUM数据集进行测试,对本文改进系统、DXSLAM系统和ORB-SLAM2系统进行多个角度的对比,实验结果表明改进后的系统在绝对轨迹误差和相对轨迹误差上均有所降低,能够提高DXSLAM系统的定位精度。本文研究内容选自国家自然科学基金项目《卫星信号拒止环境下异构多机器人协同建图与自主定位研究》中VSLAM系统的视觉回环检测关键环节,帮助机器人系统识别曾到达地点,进而优化系统定位与建图结果。
视觉SLAM系统中基于深度学习的回环检测算法研究
这是一篇关于视觉SLAM,回环检测,卷积神经网络,特征降维,注意力机制的论文, 主要内容为随着机器人技术的发展和广泛应用,要求机器人能够智能自主感知周围环境和自身位置,为实现更高级别的任务提供位置和环境信息。视觉同步定位与建图(VSLAM)技术是实现机器人自主定位和环境感知的有效手段,成为近年来的研究热点。为了减少系统误差,得到全局一致的建图结果,会在系统中引入回环检测模块。传统的回环检测依靠人工设计的图像特征判断两幅场景图像的相似性,进而判断是否是回环。而近年来,随着深度学习的长足发展,基于卷积神经网络(CNN)的图像特征提取技术被认为优于基于传统人工特征的方法。CNN在解决回环检测的问题上,能够避免传统方法易受光照等环境因素干扰的缺点。本文将利用深度学习的方法对回环检测进行以下研究:首先,针对目前基于CNN预训练模型的回环检测算法中使用PCA降维存在检测精度降低的问题,提出了一种基于KPCA降维的CNN回环检测算法。该方法使用KPCA对经由CNN预训练模型提取到的特征矩阵进行降维,并提出约束验证策略以提高检测精度。在两种CNN模型,VGG16和Res Net34上进行降维方法的对比,实验结果表明KPCA将特征矩阵降维到100维后拥有更高的准确率。在加入约束验证策略后,本文所提出的算法对比传统方法和其他基于深度学习的方法有较大提升,在PR曲线和平均精度上有更好的表现。然后,针对基于深度学习回环检测中使用CNN预训练模型无法充分利用深度学习端到端的优势的问题,提出一种端到端的图像特征提取-聚合回环检测网络。该网络使用Res2Net残差结构和通道注意力机制对Res Net50网络进行改进,作为网络中的特征提取器,结合Net VLAD层对图像特征进行聚合,并使用弱监督三元组排序损失函数训练网络模型。在Pittsburgh250k数据集上的实验表明,所提出的网络对比改进前的Net VLAD和轻量级Mobile Net VLAD在Recall@N的指标下有更好的表现,能够完成回环检测中同一地点的识别任务,并且相较于仅使用CNN预训练模型的方法有较大性能提升。最后,将所提出的Res2Net-SE-Net VLAD网络用于改进基于CNN的DXSLAM系统,实现理论在SLAM系统层面上的应用。本文使用Res2Net-SE-Net VLAD网络替换DXSLAM中的全局特征提取线程,实现对其重定位和回环检测模块的改进。通过采用局部深度特征计算相似度,全局深度特征排除伪关键帧的方式完成回环检测。实验中使用带有回环属性的TUM数据集进行测试,对本文改进系统、DXSLAM系统和ORB-SLAM2系统进行多个角度的对比,实验结果表明改进后的系统在绝对轨迹误差和相对轨迹误差上均有所降低,能够提高DXSLAM系统的定位精度。本文研究内容选自国家自然科学基金项目《卫星信号拒止环境下异构多机器人协同建图与自主定位研究》中VSLAM系统的视觉回环检测关键环节,帮助机器人系统识别曾到达地点,进而优化系统定位与建图结果。
基于MRMR和SVM的短文本分类研究与应用
这是一篇关于短文本分类,支持向量机,特征降维,最大相关最小冗余,萤火虫算法的论文, 主要内容为短文本智能分类是实施海量短文本数据管控的基础,如新闻评论、视频弹幕等。特征稀疏、维度高、结构不规则是短文本分类研究主要面对的问题。论文基于最大相关最小冗余特征降维算法MRMR,结合能将低维空间非线性问题转化为高维空间线性问题的SVM模型,以提高分类准确率为目标,从两个方面对核心支撑技术进行优化设计,并通过实验与弹幕分类原型系统设计验证优化设计的有效性。论文的具体研究工作和研究成果如下:(1)基于词频调节因子与序列浮动前向选择的MRMR优化算法研究。相关性与冗余度计算无疑是保证MRMR算法有效性的关键。论文首先利用互信息公式计算特征项与类别标签之间的关联程度,并引入词频调节因子,综合考虑互信息值与词频来筛选最大相关特征项,以降低低频词对特征标签的影响;同时在筛选目标特征子集过程中,引入序列浮动前向选择方法搜寻剩余特征中性能更加优秀的特征项,以避免常规方法在搜索子集时易陷入局部最优的问题。论文以多组特征降维算法得到的特征子集进行分类对比实验,验证所提出的特征降维优化算法的有效性。(2)基于参数优化与加权集成的Adaboost-IFASVM模型研究。核参数与惩罚因子是保证SVM训练出更优模型的关键,为此论文引入萤火虫智能算法FA对这两个参数优化。萤火虫算法的具体设计中,为保证算法同时具有较强的前期探索能力及后期加速收敛能力,论文通过引进迭代次数作为指数来改变步长因子的变化方式,使步长因子满足较好的由大到小的变化规律。同时为进一步提高模型的学习能力,论文使用Adaboost算法迭代加强错分数据的权重,并通过集成优化分类模型的综合表达能力。对比实验结果表明,论文提出的分类模型在准确率、召回率和F1值上表现更好。(3)弹幕短文本分类原型系统的设计与实现。为验证所设计算法的有效性,论文设计实现集成优化算法的弹幕短文本分类原型系统。系统包含数据获取、文本预处理、特征表示、特征选择以及短文本分类等功能。数据获取基于Python的网络爬虫程序设计,前端展示页面采用Vue.js。功能测试验证了系统及分类算法设计的有效性。
基于文本挖掘的个性化推荐系统研究
这是一篇关于文本挖掘,LDA主题模型,特征降维,推荐系统的论文, 主要内容为互联网的高速发展改变了人们的生活方式,网络为人们生活提供便捷,同时也需要对海量的信息进行筛选,推荐系统显得尤为重要,各种在线消费的网站中产生了大量的产品信息和评论信息。如果能够从海量的文字信息中获取有价值的内容,就可以极大地提升消费者的购物体验,促进商品成交率。本文利用基于内容的推荐思想,除产品本身的描述属性,主要利用评论文本,提出一种基于文本挖掘的推荐算法,提高了推荐的准确率。常用的一些推荐算法主要是聚类分析用户评分矩阵,获得目标用户的相似用户群体、或者依据用户历史打分行为推荐相似物品。可见这些算法过于依赖用户评分信息,所有用户打分衡量尺度并不一致,推荐并不准确。因此本文提出一种基于文本挖掘的个性化推荐算法,主要是采用基于内容推荐的算法思路,评论文本是用户观点的直接描述,以网站商品评论为物品特征描述语料,利用word2vec词向量模型进行评论文本情感分析,获得商品好评率,并筛选商品正向评论文本集,做为商品正向特征的描述文本集,并使用LDA主题模型对评论文本集进行降维,提取评论文本集主题特征,计算出物品评论集在各主题的分布矩阵,然而每个主题包含许多特征词语,仅使用主题粗粒度描述评论集使得推荐不够精准,采用词频特征选择算法选取主题下等粒度细分的关键词特征,使用主题分布、特征词权重、评论好评率共同做为商品描述,结合用户兴趣偏好,进行个性化推荐,除用户购买记录、用户评分、商品评论文本等信息外,当物品冷启动时可以利用物品固有属性的内容推荐解决冷启动问题,并随着评论数据的增加,逐步平滑过渡到基于文本挖掘的推荐算法。本文实验部分爬取豆瓣网电影评论作为实验数据进行实验分析,使用推荐准确率、召回率作为试验评价指标。首先实验将情感分析引入推荐系统前后算法的性能对比,并与传统基于内容的推荐方法、直接使用LDA主题推荐的算法相比较,本文提出的基于LDA主题扩展文本挖掘推荐方法进行了评论文本情感分析信息并扩展LDA主题模型,增加文本描述力,使得推荐效果更为准确。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码项目助手 ，原文地址：https://m.bishedaima.com/lunwen/52436.html
