视觉SLAM系统中基于深度学习的回环检测算法研究
这是一篇关于视觉SLAM,回环检测,卷积神经网络,特征降维,注意力机制的论文, 主要内容为随着机器人技术的发展和广泛应用,要求机器人能够智能自主感知周围环境和自身位置,为实现更高级别的任务提供位置和环境信息。视觉同步定位与建图(VSLAM)技术是实现机器人自主定位和环境感知的有效手段,成为近年来的研究热点。为了减少系统误差,得到全局一致的建图结果,会在系统中引入回环检测模块。传统的回环检测依靠人工设计的图像特征判断两幅场景图像的相似性,进而判断是否是回环。而近年来,随着深度学习的长足发展,基于卷积神经网络(CNN)的图像特征提取技术被认为优于基于传统人工特征的方法。CNN在解决回环检测的问题上,能够避免传统方法易受光照等环境因素干扰的缺点。本文将利用深度学习的方法对回环检测进行以下研究:首先,针对目前基于CNN预训练模型的回环检测算法中使用PCA降维存在检测精度降低的问题,提出了一种基于KPCA降维的CNN回环检测算法。该方法使用KPCA对经由CNN预训练模型提取到的特征矩阵进行降维,并提出约束验证策略以提高检测精度。在两种CNN模型,VGG16和Res Net34上进行降维方法的对比,实验结果表明KPCA将特征矩阵降维到100维后拥有更高的准确率。在加入约束验证策略后,本文所提出的算法对比传统方法和其他基于深度学习的方法有较大提升,在PR曲线和平均精度上有更好的表现。然后,针对基于深度学习回环检测中使用CNN预训练模型无法充分利用深度学习端到端的优势的问题,提出一种端到端的图像特征提取-聚合回环检测网络。该网络使用Res2Net残差结构和通道注意力机制对Res Net50网络进行改进,作为网络中的特征提取器,结合Net VLAD层对图像特征进行聚合,并使用弱监督三元组排序损失函数训练网络模型。在Pittsburgh250k数据集上的实验表明,所提出的网络对比改进前的Net VLAD和轻量级Mobile Net VLAD在Recall@N的指标下有更好的表现,能够完成回环检测中同一地点的识别任务,并且相较于仅使用CNN预训练模型的方法有较大性能提升。最后,将所提出的Res2Net-SE-Net VLAD网络用于改进基于CNN的DXSLAM系统,实现理论在SLAM系统层面上的应用。本文使用Res2Net-SE-Net VLAD网络替换DXSLAM中的全局特征提取线程,实现对其重定位和回环检测模块的改进。通过采用局部深度特征计算相似度,全局深度特征排除伪关键帧的方式完成回环检测。实验中使用带有回环属性的TUM数据集进行测试,对本文改进系统、DXSLAM系统和ORB-SLAM2系统进行多个角度的对比,实验结果表明改进后的系统在绝对轨迹误差和相对轨迹误差上均有所降低,能够提高DXSLAM系统的定位精度。本文研究内容选自国家自然科学基金项目《卫星信号拒止环境下异构多机器人协同建图与自主定位研究》中VSLAM系统的视觉回环检测关键环节,帮助机器人系统识别曾到达地点,进而优化系统定位与建图结果。
基于P2Net深度估计的三维语义SLAM研究
这是一篇关于视觉SLAM,三维重建,回环检测,深度学习,深度估计,实例分割的论文, 主要内容为实时定位与地图构建(SLAM,Simultaneous Localization and Mapping)技术是移动机器人最为重要的技术之一。最近基于视觉的SLAM技术逐渐被广泛使用。目前主流的视觉SLAM技术往往是实时构建稀疏的地图,但是在未来若要机器人完成高级别的任务,离不开稠密地图以及语义地图的重建。而目前针对稠密重建以及语义建图的SLAM往往对视觉传感器有一定的要求:双目相机或者RGB-D相机,这大大限制了其使用场景。以此本文设计了一种基于深度估计的单目三维语义SLAM算法,命名为MMF-SLAM(Monocular Mask Fusion SLAM)。在稀疏直接法跟踪线程的基础上新增图像深度估计线程以及回环检测线程,以普通RGB图像作为输入,重建出具有语义信息的高精度三维地图,并具有较高的定位精度。该算法为移动机器人完成更高级别的智能化任务奠定了基础,其具体研究如下:首先,设计了单目稠密重建的视觉里程计框架。在基于稀疏直接法跟踪线程的基础上,对关键帧进行基于深度学习的深度估计。并优化深度估计的结果以及相机跟踪的结果:将深度估计的结果根据关键帧的共视关系,通过计算重投影误差来剔除深度估计不准确的点,在直接法里程计已获得相机位姿的基础上再进行由粗到精的基于非线性优化的迭代最近点(ICP),获得更为精确的相机位姿。其次,在已有算法的基础上,对表面重建以及语义分割工作进行了改进。在表面重建方面,对表面元素进行降噪以及网格的重划分处理,合理的解决了三维重建的边界不连续等各种问题;在语义分割方面,采用对Mask-RCNN进行改进了的Refine Mask算法,以此获得更为精确的掩膜边界,更加有利于三维语义地图的重建。最后,针对视觉SLAM中累积误差和现有回环检测(Loop Closure Detection,LCD)算法的不准确性带来的问题,提出了一种回环检测算法框架(Lightweight Feature Matching LCD,LFM-LCD),该算法简单分为三个步骤:关键帧的目标检测、二值分类、特征匹配。同时提出了另一种深度可分离的轻量级卷积神经网络。扩展卷积结合Transformer的注意力机制获得高感受野,可以更好地完成相似关键帧之间的特征匹配任务。利用二值分类得到关键帧的分类向量,并根据二值分类树中的类别比例添加标签的动态权重。与几种先进的LCD算法相比,本文提出的LFM-LCD在室内场景机器人低速SLAM中具有较高的优势。
基于孪生卷积神经网络的SLAM回环检测研究
这是一篇关于SLAM,回环检测,孪生卷积神经网络,多任务学习,随机梯度下降法的论文, 主要内容为SLAM(Simultaneous Localization and Mapping)技术是一种集成了感知、控制和建图等多种功能的综合性技术,用于让机器人在未知环境中进行自主导航和定位,目前已经被广泛应用于机器人、自动驾驶等领域。求解SLAM的算法大致可以分为两类:基于滤波器的SLAM和基于图像的SLAM。由于传统的基于滤波器的方法,如卡尔曼滤波器和粒子滤波器在构建地图时会累积误差,因此不适用于大规模地图的创建。所以,最近的研究主要集中在基于图像的方法上。回环检测是基于图像的视觉SLAM任务中的一个关键挑战。它是指确定机器人是否访问过先前到达的位置,并且通过纠正累积误差来生成全局一致的地图。回环检测的传统方法对于外界环境的变化非常敏感,针对这个问题,深度学习的方法渐渐地在回环检测问题中运用了起来。本文提出的基于孪生卷积神经网络的SLAM回环检测方法,主要的研究内容包括:(1)针对复杂场景中RGB图像受光照、视角变化、动态物体、天气等外界条件影响较大这一问题,本文引入了深度学习的方法对场景图像进行特征提取。在此基础上,为了更高效地进行回环检测,本文提出了基于孪生卷积神经网络的方法,该网络可以提取两张图片相同分布域的特征,从而可以更好的进行两个场景的相似度对比。(2)针对复杂场景中回环检测的问题,本文使用了VGG16和Alex Net两种网络分别作为孪生神经网络的子特征提取网络。使用VGG16与孪生神经网络结合,并尝试使用单任务学习的方法监督网络训练,最后用Sigmoid函数进行了场景相似度的对比。实验证明基于孪生卷积神经网络的回环检测方法要明显优于一般的深度学习方法和传统的手工构造特征的方法。为了更大地发挥出孪生神经网络的优势,本文在Hou等人利用Alex Net自动学习特征描述符的基础之上进行了方法改进,把Alex Net作为孪生神经网络的子特征提取网络,并使用多任务学习的方法,运用两种损失函数去监督网络训练,最后使用随机梯度下降法更新网络参数,从而提高回环检测的精度。本文将基于VGG16的孪生神经网络和基于Alex Net的孪生神经网络统称为孪生卷积神经网络。(3)为了进一步提高回环检测中相似度对比的精度,本文使用大量的训练集和测试集对网络进行训练,对于VGG16和Alex Net两种方法分别使用Sigmoid函数和L2范数距离进行场景相似度的判断,最后使用P-R曲线去显示网络的精度。实验结果表明,基于孪生卷积神经网络的SLAM回环检测方法要明显优于传统的手工构造特征的方法,也优于一般的深度学习方法,为以后移动机器人执行更复杂场景的任务打下了基础。
基于注意力卷积神经网络的视觉定位研究
这是一篇关于卷积神经网络,注意力机制,门控循环单元,视觉里程计,回环检测的论文, 主要内容为随着扫地机器人、智能快递车等服务型产品逐渐走入人们日常的生活,导航与定位技术也逐渐被人们所熟知。视觉同时定位和建图(Visual Simultaneous Localization and Mapping,VSLAM)指利用移动设备在陌生环境中自主探索的技术,其中视觉里程计(Visual Odometry,VO)和回环检测(Loop Closing,LC)是视觉SLAM系统的重要环节。视觉里程计通过分析图像间的相对运动估算相机的位移和旋转,其输出的位姿精度对整个视觉SLAM系统的定位精度至关重要。回环检测的任务是判断相机的运动过程中是否经过相同场景,可用于减小视觉里程计环节估算位姿中的累积误差。然而传统的视觉里程计和回环检测方法大多基于手工设计的特征点,存在特征提取耗时、求解步骤繁琐,以及鲁棒性差等缺点。近年来随着深度学习的发展,其在图像特征提取领域的表现远超其他算法。因此为了解决上述特征提取过程中的问题,本文将深度学习引入视觉定位中,用于解决视觉里程计和回环检测问题。研究内容如下:(1)基于卷积神经网络(Convolutional Neural Networks,CNN)和门控循环单元(Gated Recurrent Unit,GRU)的视觉里程计算法针对传统基于特征点的视觉里程计算法求解步骤繁琐等问题,提出了一种基于卷积神经网络和门控循环单元的视觉里程计算法,用于端到端的估计相机位姿。该方法以相邻的两帧图像作为模型输入,通过CNN提取其图像特征,并使用GRU进行时序学习,最后利用全连接层降维并输出六自由度的相机位姿。通过KITTI里程计数据集完成实验,对模型输出位姿可视化并评估其误差,结果表明该模型位姿估计误差较小、轨迹精度较高,验证了本视觉里程计模型构建的合理性。(2)基于注意力卷积神经网络的视觉里程计算法为了进一步提高视觉里程计模型的位姿精度,提出了基于注意力卷积神经网络的视觉里程计算法。在上述VO模型的特征提取部分融入了注意力机制,用于增强网络的特征提取能力。基于KITTI数据集完成实验,通过消融实验验证了注意力机制对整体模型精度的影响,通过对比实验评估了整体模型的精度,结果表明相对于仅有卷积网络的特征提取,融入注意力机制可以达到更好的效果,且该算法相对其他对比方法位姿估计更加准确。(3)基于卷积神经网路和Net VLAD的回环检测算法针对传统基于词袋模型的回环检测算法精度较低的问题,提出了一种基于卷积神经网络和Net VLAD的回环检测算法。卷积模块由VGG结构改进而来,用于对图像进行特征提取。Net VLAD模块改进自VLAD(Vector of Locally Aggregated Descriptors,VLAD),用于聚类卷积神经网络的输出特征。图像先经过卷积神经网络模块提取特征,再通过Net VLAD模块聚类图像特征,最终利用特征向量间的余弦距离判断是否存在回环。基于经典回环测试数据集完成实验,通过相似度矩阵可视化和准确率-召回率曲线评估模型精度,结果表明该算法回环检测准确率较高。
视觉SLAM系统中基于深度学习的回环检测算法研究
这是一篇关于视觉SLAM,回环检测,卷积神经网络,特征降维,注意力机制的论文, 主要内容为随着机器人技术的发展和广泛应用,要求机器人能够智能自主感知周围环境和自身位置,为实现更高级别的任务提供位置和环境信息。视觉同步定位与建图(VSLAM)技术是实现机器人自主定位和环境感知的有效手段,成为近年来的研究热点。为了减少系统误差,得到全局一致的建图结果,会在系统中引入回环检测模块。传统的回环检测依靠人工设计的图像特征判断两幅场景图像的相似性,进而判断是否是回环。而近年来,随着深度学习的长足发展,基于卷积神经网络(CNN)的图像特征提取技术被认为优于基于传统人工特征的方法。CNN在解决回环检测的问题上,能够避免传统方法易受光照等环境因素干扰的缺点。本文将利用深度学习的方法对回环检测进行以下研究:首先,针对目前基于CNN预训练模型的回环检测算法中使用PCA降维存在检测精度降低的问题,提出了一种基于KPCA降维的CNN回环检测算法。该方法使用KPCA对经由CNN预训练模型提取到的特征矩阵进行降维,并提出约束验证策略以提高检测精度。在两种CNN模型,VGG16和Res Net34上进行降维方法的对比,实验结果表明KPCA将特征矩阵降维到100维后拥有更高的准确率。在加入约束验证策略后,本文所提出的算法对比传统方法和其他基于深度学习的方法有较大提升,在PR曲线和平均精度上有更好的表现。然后,针对基于深度学习回环检测中使用CNN预训练模型无法充分利用深度学习端到端的优势的问题,提出一种端到端的图像特征提取-聚合回环检测网络。该网络使用Res2Net残差结构和通道注意力机制对Res Net50网络进行改进,作为网络中的特征提取器,结合Net VLAD层对图像特征进行聚合,并使用弱监督三元组排序损失函数训练网络模型。在Pittsburgh250k数据集上的实验表明,所提出的网络对比改进前的Net VLAD和轻量级Mobile Net VLAD在Recall@N的指标下有更好的表现,能够完成回环检测中同一地点的识别任务,并且相较于仅使用CNN预训练模型的方法有较大性能提升。最后,将所提出的Res2Net-SE-Net VLAD网络用于改进基于CNN的DXSLAM系统,实现理论在SLAM系统层面上的应用。本文使用Res2Net-SE-Net VLAD网络替换DXSLAM中的全局特征提取线程,实现对其重定位和回环检测模块的改进。通过采用局部深度特征计算相似度,全局深度特征排除伪关键帧的方式完成回环检测。实验中使用带有回环属性的TUM数据集进行测试,对本文改进系统、DXSLAM系统和ORB-SLAM2系统进行多个角度的对比,实验结果表明改进后的系统在绝对轨迹误差和相对轨迹误差上均有所降低,能够提高DXSLAM系统的定位精度。本文研究内容选自国家自然科学基金项目《卫星信号拒止环境下异构多机器人协同建图与自主定位研究》中VSLAM系统的视觉回环检测关键环节,帮助机器人系统识别曾到达地点,进而优化系统定位与建图结果。
基于卷积神经网络的视觉SLAM回环检测算法研究
这是一篇关于SLAM,回环检测,深度神经网络,NetVLAD,空洞空间金字塔池化,分层可通航小世界网络的论文, 主要内容为同步定位与建图(Simultaneous Localization and Mapping,SLAM)是机器人实现自主移动的核心功能之一。回环检测作为其中的关键环节,旨在判断机器人是否回到了之前到过的位置,并通过回环约束减少视觉里程计引起的累积误差,提高定位和建图精度。传统的基于外观的回环检测算法主要采用手工特征来表征图像,应对光照、视角等环境变化时的鲁棒性较差,并且特征提取和图像相似性搜索比较耗时,难以达到实时性要求。为了提高回环检测的鲁棒性和实时性,设计了如下算法:(1)基于深度学习的图像序列回环检测算法针对鲁棒性差和特征提取耗时的问题,提出一种基于深度神经网络提取图像特征的回环检测算法。具体地,在经典Net VLAD算法中引入空洞空间金字塔池化模块,通过多尺度特征融合,在降维的同时提高特征图的分辨率,得到更加鲁棒且紧凑的图像特征描述。为提高检测精度,采用图像序列对比的方式,通过比较图像序列间的相似性来判断是否发生回环。公开数据集上的测试表明,本文算法可以较好地应对环境变化,图像特征提取耗时也有明显改善。(2)基于近似最近邻搜索的高效回环检测算法为提高相似图像序列的搜索效率,进一步压缩模型规模和特征维度,并采用近似最近邻搜索的方式加速搜索。具体地,采用基于移动网络Mobile Net＿V3的主干网络来提取图像的卷积特征,得到更加紧凑的VLAD图像特征描述向量,降低了相似性搜索的计算量和搜索时间,提高实时性。另外,采用分层可通航小世界网络(HNSW)近似最近邻搜索方式替代暴力搜索。基于数据集的测试表明,改进算法在牺牲少量精度的条件下显著提高了实时性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工坊 ，原文地址：https://m.bishedaima.com/lunwen/54333.html
