基于混合方法的单目视觉里程计算法研究

这是一篇关于视觉里程计,深度估计,位姿估计,FAST算法,混合方法的论文, 主要内容为单目视觉里程计是通过单目相机拍摄连续幅图像,并利用深度学习方法或几何方法等估计相机的运动。其中,基于几何方法的单目视觉里程计无法直接获取场景的深度,且容易出现累积误差;基于深度学习方法的单目视觉里程计可端到端的获取相机的运动,但其泛化能力不足,同时也忽略了一些重要的几何约束。因此,本文提出了一种基于混合方法的单目视觉里程计算法框架。该框架将基于深度学习方法的图像深度估计网络与基于几何方法的视觉里程计算法相融合,利用深度估计网络对提取的特征点进行深度恢复,以提升视觉里程计的精确度。本文视觉里程计算法在实现位姿估计的同时,还可实现对图像的深度估计。在深度估计部分,针对单目视觉里程计缺少图像深度信息的问题,提出了一种基于编码器-解码器网络的图像深度估计网络。首先,考虑实时性问题,编码器选用Mobile Net网络利用深度可分离卷积提取特征信息。其次,提出将拉普拉斯金字塔结合到解码器架构中,通过不同尺度空间逐步恢复深度边界,从粗尺度到细尺度重建最终深度图。在位姿估计部分,首先针对FAST角点提取算法判断逻辑复杂的问题,提出了一种改进的FAST角点提取算法。该算法对角点判断逻辑进行了优化,以提升角点提取速度;并剔除了在周围邻域像素内未取得响应极大值的伪角点,以提高角点质量。其次,对提取的角点基于LK光流法进行跟踪。然后,利用深度估计网络对特征点的深度信息进行恢复。最后,针对运动退化发生时通过对极几何约束并不能良好地估计运动的问题,提出了基于几何鲁棒信息准则根据不同的运动情况从对极几何约束方法和PnP方法中选择合适的方法进行运动估计。本文对深度估计和位姿估计分别设计了实验。结果表明,本文基于混合方法的单目视觉里程计算法是可行且有效的。深度估计性能在Eigen Split数据集上各项指标都较优,且在不同光照条件和不同场景下都能良好工作。位姿估计性能在Odometry Split数据集的00、02、05、06、08、09和10序列上各项指标都优于对比的几何方法和深度学习方法的视觉里程计。

基于端到端学习的视觉里程计系统的设计与实现

这是一篇关于视觉里程计,端到端学习,上下文门限卷积,注意力机制的论文, 主要内容为作为基于视觉的同时定位与地图构建(Simultaneous localization and mapping,SLAM)系统中的重要组成部分,视觉里程计(Visual odometry,VO)是根据移动机器人或者汽车等智能移动设备上搭载的视觉传感器(相机)所采集的图像序列来估计自身的位置变化。随着近些年计算机视觉领域中相关技术逐渐趋于成熟,视觉里程计等相关技术也随之发展,目前被广泛应用于虚拟现实、自动驾驶、智能机器人以及工业互联网等新兴技术领域,因此受到研究学者的广泛关注。最近,研究学者们尝试将深度学习领域中的相关技术应用到视觉里程计系统的研究中,本文在对目前基于学习方法的视觉里程计系统的研究方案进行充分的调研后,完成了以下工作:第一,提出了基于上下文门限卷积和子空间注意力机制的视觉里程计算法框架。算法核心的部分包含:(1)应用上下文门限卷积替代普通的卷积神经网络,通过结合整张图像的全部信息来动态调整卷积核的尺度,提取更加具有代表性的图像特征图;(2)设计了轻量级子空间注意力机制模块,将图像特征图在通道维度上划分为多个子空间,进一步丰富图像特征空间,并分别计算相应注意力图,按照重要程度分配不同权重,确保图像特征图中能够包含更多的关键信息。整个框架的设计采用轻量级运算方式,在大量的公开数据集KITTI、EuRoc和自收集数据集上表现出良好的实验效果。与单纯基于卷积神经网络的视觉里程计算法相比,本算法在KITTI数据集上的平均平移误差降低了45.6%,平均旋转误差降低了35.2%。第二,在研究中发现,基于端到端学习的视觉里程计系统的性能主要是受到网络框架本身的限制,因此本算法在卷积神经网络的框架结构上进一步改进,提出了基于多分支卷积神经网络和自注意力机制的视觉里程计算法框架。算法核心的部分包含:(1)通过拓展原有特征提取网络维度,建立分支型结构来跨通道的捕获图像关键特征;(2)设计了自注意力层用于捕获相邻帧图像之间的关键特征和数据内部关联性,减轻了图像在特征提取的过程中对外部信息的依赖,增强了视觉里程计系统对长样本序列的学习能力;(3)设计了基于FReLU的自适应激活函数,在对端到端的视觉里程计模型的训练中可以根据系统输入,自适应的调整神经元的激活状态,使整个系统在不同场景条件下能够保持良好的鲁棒性。大量的实验表明,本算法的精度得到了进一步的提升,同时在KITTI数据集上的单帧位姿估计时间远远小于当下主流的视觉里程计算法。

基于SLAM的增强现实展示系统的设计与实现

这是一篇关于SLAM,增强现实,单目,视觉里程计,IMU,OSG的论文, 主要内容为随着人工智能技术的不断进步,增强现实技术也逐渐受到人们的关注。然而当前时代中增强现实技术更多的是基于二维目标识别或依赖标识物,这使得增强现实具有了一定的局限性,影响了增强现实技术的发展和应用。因此现实场景实时建立三维地图对增强现实技术来说就变得尤为重要。将 SLAM(Simultaneous Localization And Mapping)技术融合到增强现实领域,为增强现实技术提供必要的三维信息,具有极高的可行性。然而,SLAM在增强现实领域的应用又存在着很多困难需要克服。本论文的主要工作是研究分析了 SLAM系统,针对增强现实领域的需求,对SLAM系统及算法进行了改进优化,包括降低系统的负荷、优化资源的分配、提升算法的实时性与鲁棒性和增加AR虚拟物体的稳定度等几个方面,最后设计并实现了AR展示系统。本文基于SLAM系统的增强展示系统具体主要做了以下工作:1)设计与实现了 SLAM系统,主要分为前端视觉里程计、后端优化算法和系统设计与优化三部分。针对桌面级的小范围地图,设计与改进现有的SLAM系统的视觉里程计与后端优化算法。有效地提高了视觉里程计算法与后端优化算法的实时性与可靠性。2)设计与实现了增强现实展示模块。基于OSG(OpenSceneGraph)三维引擎设计与实现了增强现实系统模块,并设计了显示模块算法优化增强现实系统的展示效果。3)设计与实现了增强现实模块与SLAM算法姿态估计模块之间的信息传递。最后对系统进行在同步性和实时性方面的优化,结合SLAM算法与增强现实模块,组成完整的基于SLAM算法的增强现实展示系统。

基于端到端学习的视觉里程计系统的设计与实现

这是一篇关于视觉里程计,端到端学习,上下文门限卷积,注意力机制的论文, 主要内容为作为基于视觉的同时定位与地图构建(Simultaneous localization and mapping,SLAM)系统中的重要组成部分,视觉里程计(Visual odometry,VO)是根据移动机器人或者汽车等智能移动设备上搭载的视觉传感器(相机)所采集的图像序列来估计自身的位置变化。随着近些年计算机视觉领域中相关技术逐渐趋于成熟,视觉里程计等相关技术也随之发展,目前被广泛应用于虚拟现实、自动驾驶、智能机器人以及工业互联网等新兴技术领域,因此受到研究学者的广泛关注。最近,研究学者们尝试将深度学习领域中的相关技术应用到视觉里程计系统的研究中,本文在对目前基于学习方法的视觉里程计系统的研究方案进行充分的调研后,完成了以下工作:第一,提出了基于上下文门限卷积和子空间注意力机制的视觉里程计算法框架。算法核心的部分包含:(1)应用上下文门限卷积替代普通的卷积神经网络,通过结合整张图像的全部信息来动态调整卷积核的尺度,提取更加具有代表性的图像特征图;(2)设计了轻量级子空间注意力机制模块,将图像特征图在通道维度上划分为多个子空间,进一步丰富图像特征空间,并分别计算相应注意力图,按照重要程度分配不同权重,确保图像特征图中能够包含更多的关键信息。整个框架的设计采用轻量级运算方式,在大量的公开数据集KITTI、EuRoc和自收集数据集上表现出良好的实验效果。与单纯基于卷积神经网络的视觉里程计算法相比,本算法在KITTI数据集上的平均平移误差降低了45.6%,平均旋转误差降低了35.2%。第二,在研究中发现,基于端到端学习的视觉里程计系统的性能主要是受到网络框架本身的限制,因此本算法在卷积神经网络的框架结构上进一步改进,提出了基于多分支卷积神经网络和自注意力机制的视觉里程计算法框架。算法核心的部分包含:(1)通过拓展原有特征提取网络维度,建立分支型结构来跨通道的捕获图像关键特征;(2)设计了自注意力层用于捕获相邻帧图像之间的关键特征和数据内部关联性,减轻了图像在特征提取的过程中对外部信息的依赖,增强了视觉里程计系统对长样本序列的学习能力;(3)设计了基于FReLU的自适应激活函数,在对端到端的视觉里程计模型的训练中可以根据系统输入,自适应的调整神经元的激活状态,使整个系统在不同场景条件下能够保持良好的鲁棒性。大量的实验表明,本算法的精度得到了进一步的提升,同时在KITTI数据集上的单帧位姿估计时间远远小于当下主流的视觉里程计算法。

基于SLAM的增强现实展示系统的设计与实现

这是一篇关于SLAM,增强现实,单目,视觉里程计,IMU,OSG的论文, 主要内容为随着人工智能技术的不断进步,增强现实技术也逐渐受到人们的关注。然而当前时代中增强现实技术更多的是基于二维目标识别或依赖标识物,这使得增强现实具有了一定的局限性,影响了增强现实技术的发展和应用。因此现实场景实时建立三维地图对增强现实技术来说就变得尤为重要。将 SLAM(Simultaneous Localization And Mapping)技术融合到增强现实领域,为增强现实技术提供必要的三维信息,具有极高的可行性。然而,SLAM在增强现实领域的应用又存在着很多困难需要克服。本论文的主要工作是研究分析了 SLAM系统,针对增强现实领域的需求,对SLAM系统及算法进行了改进优化,包括降低系统的负荷、优化资源的分配、提升算法的实时性与鲁棒性和增加AR虚拟物体的稳定度等几个方面,最后设计并实现了AR展示系统。本文基于SLAM系统的增强展示系统具体主要做了以下工作:1)设计与实现了 SLAM系统,主要分为前端视觉里程计、后端优化算法和系统设计与优化三部分。针对桌面级的小范围地图,设计与改进现有的SLAM系统的视觉里程计与后端优化算法。有效地提高了视觉里程计算法与后端优化算法的实时性与可靠性。2)设计与实现了增强现实展示模块。基于OSG(OpenSceneGraph)三维引擎设计与实现了增强现实系统模块,并设计了显示模块算法优化增强现实系统的展示效果。3)设计与实现了增强现实模块与SLAM算法姿态估计模块之间的信息传递。最后对系统进行在同步性和实时性方面的优化,结合SLAM算法与增强现实模块,组成完整的基于SLAM算法的增强现实展示系统。

基于自监督深度学习的视觉里程计方法研究

这是一篇关于视觉里程计,自监督深度学习,注意力机制,轻量化的论文, 主要内容为随着智能机器人的发展,智能机器人已经广泛用于各行各业中。视觉里程计是智能机器人在定位建图、环境感知、自动驾驶、虚拟现实等领域中的关键技术。近年来,深度学习和卷积神经网络在计算机视觉领域大放异彩,使得研究学者们开始研究基于深度学习的视觉里程计。传统基于几何的视觉里程计方法对图像质量要求高,处理低纹理图像时效果较差;现有基于深度学习的里程计方法分为有监督和无监督两种方式,其中,有监督方式需要大量带标签的数据,无监督方式在估计深度图时会出现图像边缘模糊、精度低等问题。针对现有方法存在的问题,本文提出了基于自监督深度学习的视觉里程计方法并展开了研究。本文主要工作内容包括如下四个方面:1.本文对视觉SLAM里程计领域的国内外现状进行了研究与分析。针对现有基于深度学习的里程计方法中估计的深度图边缘模糊问题,提出了一种基于自监督深度学习的视觉里程计方法。该视觉里程计模型中包含两个网络,即深度估计网络和位姿估计网络,该模型同时完成深度估计和位姿估计两个任务。在里程计两个网络结构中,以残差网络Res Net50为骨干网络结构,在每个残差块后面增加一个注意力机制模块,注意力机制模块能够增强有利于训练的特征,减少无效特征的冗余性。通过实验表明,相比于现有基于深度学习的视觉里程计方法,该方法能够改善深度图边缘模糊的问题,并且在里程计精度上具有一定的提升。2.针对有监督深度学习的里程计方法在训练时需要大量标签数据的情况,且标签数据制作成本较高。本文在里程计模型训练时,采用自监督方式,以单目彩色图作为模型的输入,经过里程计网络重构出目标图像,然后将下一帧图像数据作为监督信息,与重构的目标图像建立数据关系,以此监督网络模型的训练,将自监督问题转化成图像重构问题。为提高深度估计的精度,在损失函数设计上,除了主要的图像重构损失,还增加了图像相似度损失和图像平滑损失。通过实验证明,自监督深度学习方式在处理某些特定视觉问题上是可行的,该方法为其他视觉任务提供了思路。3.针对嵌入式智能移动设备计算资源有限的问题,提出了一种基于Mobile Net V2网络的轻量化里程计网络模型。该轻量化网络模型使用反向残差结构降低了网络模型的复杂度,能够有效减少里程计网络模型参数。实验证明,本文提出的轻量化里程计模型在网络参数大量减少的情况下,该模型的精度不会发生明显的下降。4.最后搭建了基于自监督深度学习的视觉里程计系统,该系统支持离线视频流和实时拍摄图像两种输入模式。将该视觉里程计系统部署到计算资源有限的智能移动小车上,在小车终端只进行里程计模型的推理工作。在现实场景下,智能移动小车搭载着相机传感器实时采集图像数据,并进行场景深度估计和小车位姿估计,实现了端对端的视觉里程计方法。

基于自监督学习的温室移动机器人位姿跟踪方法研究

这是一篇关于卷积神经网络,农业移动机器人,位姿跟踪,自监督学习,深度学习,视觉里程计的论文, 主要内容为近几年来,计算机视觉技术发展迅速,位姿估计在移动机器人自主作业过程中具有重要作用,本文对温室农业移动机器人的深度和位姿信息预测方法进行研究。针对本研究场景中的困难,本文选用基于自监督学习的模型进行位姿估计,将位姿估计问题转换成图像重构问题,避免了大量的数据标注工作,也有效地解决了无监督学习的准确性问题。本文针对农业移动机器人在温室场景下实现位姿估计,提出一种基于时序图像的自监督学习的位姿变换矩阵估计,根据温室场景光照的复杂性、农业移动机器人工作背景颜色、纹理单一的问题,设计网络结构、定义损失函数,实现农业移动机器人行进过程中预测精准的位置及姿态信息并根据该信息实现机器人运动轨迹跟踪的功能,并使其具有良好的场景实用性和鲁棒性。首先,本研究构建温室番茄植株双目图像数据集,通过遥控轮式移动机器人采集连续双目图像构建本文试验的训练和测试数据集。利用SIFT算子提取特征点,匹配特征,根据双目相机成像原理获取深度真值,构建深度真值数据集;同理,完成特征匹配,使用EPn P算法获取连续帧间位置及姿态真值,构建位姿变换真值数据集,为验证模型深度恢复和位姿估计的精准性提供实际值数据。其次,本研究设计U-net架构的卷积自编码器,其中选用更深层次的卷积神经网络Res Net-50作为CAE中编码器,Leaky Re LU函数作为编码器中的激活函数,构成本研究深度恢复和位姿估计的网络结构。基于本研究设计的网络结构进行模型训练,位姿跟踪的绝对位姿误差RMSE为10.21厘米,其均值为7.79厘米,计算速度为3.1 examples/s,本研究模型在温室背景下具有实用性。最后,引入双目基线约束,提出基于时序图像的自监督学习位姿估计模型,以连续的双目图像序列作为模型训练样本,通过同步的双目图像以及相邻帧图像进行图像重构;通过引入归一化遮罩处理解决非刚性场景和植株相互遮挡问题;针对温室田间场景下复杂的光照条件,本文引入census变换原理对光亮一致性进行约束,将L1范数、SSIM以及census函数有机地组合在一起,提出一种表观差异度量函数。以最小化重构图像与原图像之间的表观差异度量函数为模型训练目标,基于本文构建的方法实现深度估计和位姿估计功能。本研究方法与Monodepth2模型相比,深度估计的Rel下降了5.87个百分点,位姿跟踪相对位移误差RMSE降低了46.95%,相对姿态误差RMSE降低了22.77%,绝对位姿误差RMSE降低了39.66%,本研究模型在深度恢复和位姿跟踪性能上均有明显提升。此外,本研究通过对比移动机器人不同移动速度、以不同分辨率图像作为输入模型位姿跟踪的精度,对本研究模型位姿跟踪的有效性进行分析,试验结果表明:在移动机器人不同运行速度下,本研究模型绝对位姿误差RMSE均低于10cm,输入不同分辨率图像,预测轨迹与实际轨迹吻合度均较高,本研究模型位姿跟踪对移动机器人运行速度和输入图像分辨率具有鲁棒性。在正常光照环境下模型预测的深度值与实际深度值之间的平均相对误差为8.91%,不理想光照环境下平均相对误差控制在10.97%～16.22%的范围之内,光照环境对模型实现深度估计的性能影响较大;在有效的采样距离范围之内,本文模型深度估计的平均相对误差控制在9.36%～14.68%,可知采样距离对本文模型深度估计的性能影响较小。本研究模型在实际的温室场景下具有实用性,能为农业移动机器人的视觉系统提供可靠的三维信息。

基于注意力卷积神经网络的视觉定位研究

这是一篇关于卷积神经网络,注意力机制,门控循环单元,视觉里程计,回环检测的论文, 主要内容为随着扫地机器人、智能快递车等服务型产品逐渐走入人们日常的生活,导航与定位技术也逐渐被人们所熟知。视觉同时定位和建图(Visual Simultaneous Localization and Mapping,VSLAM)指利用移动设备在陌生环境中自主探索的技术,其中视觉里程计(Visual Odometry,VO)和回环检测(Loop Closing,LC)是视觉SLAM系统的重要环节。视觉里程计通过分析图像间的相对运动估算相机的位移和旋转,其输出的位姿精度对整个视觉SLAM系统的定位精度至关重要。回环检测的任务是判断相机的运动过程中是否经过相同场景,可用于减小视觉里程计环节估算位姿中的累积误差。然而传统的视觉里程计和回环检测方法大多基于手工设计的特征点,存在特征提取耗时、求解步骤繁琐,以及鲁棒性差等缺点。近年来随着深度学习的发展,其在图像特征提取领域的表现远超其他算法。因此为了解决上述特征提取过程中的问题,本文将深度学习引入视觉定位中,用于解决视觉里程计和回环检测问题。研究内容如下:(1)基于卷积神经网络(Convolutional Neural Networks,CNN)和门控循环单元(Gated Recurrent Unit,GRU)的视觉里程计算法针对传统基于特征点的视觉里程计算法求解步骤繁琐等问题,提出了一种基于卷积神经网络和门控循环单元的视觉里程计算法,用于端到端的估计相机位姿。该方法以相邻的两帧图像作为模型输入,通过CNN提取其图像特征,并使用GRU进行时序学习,最后利用全连接层降维并输出六自由度的相机位姿。通过KITTI里程计数据集完成实验,对模型输出位姿可视化并评估其误差,结果表明该模型位姿估计误差较小、轨迹精度较高,验证了本视觉里程计模型构建的合理性。(2)基于注意力卷积神经网络的视觉里程计算法为了进一步提高视觉里程计模型的位姿精度,提出了基于注意力卷积神经网络的视觉里程计算法。在上述VO模型的特征提取部分融入了注意力机制,用于增强网络的特征提取能力。基于KITTI数据集完成实验,通过消融实验验证了注意力机制对整体模型精度的影响,通过对比实验评估了整体模型的精度,结果表明相对于仅有卷积网络的特征提取,融入注意力机制可以达到更好的效果,且该算法相对其他对比方法位姿估计更加准确。(3)基于卷积神经网路和Net VLAD的回环检测算法针对传统基于词袋模型的回环检测算法精度较低的问题,提出了一种基于卷积神经网络和Net VLAD的回环检测算法。卷积模块由VGG结构改进而来,用于对图像进行特征提取。Net VLAD模块改进自VLAD(Vector of Locally Aggregated Descriptors,VLAD),用于聚类卷积神经网络的输出特征。图像先经过卷积神经网络模块提取特征,再通过Net VLAD模块聚类图像特征,最终利用特征向量间的余弦距离判断是否存在回环。基于经典回环测试数据集完成实验,通过相似度矩阵可视化和准确率-召回率曲线评估模型精度,结果表明该算法回环检测准确率较高。