基于几何深度学习的物体位姿估计和分类
这是一篇关于三维物体感知,位姿估计,点云分类的论文, 主要内容为三维物体感知算法在家用机器人、工业制造、智慧物流等领域有着诸多应用。在杂乱室内场景由于物体间相互堆叠以及传感器成本的限制,物体在任意视角下采集的点云数据往往面临着稀疏、遮挡和噪声的问题,这会给深度神经网络的形状编码引入特征不一致性从而对算法的精度和鲁棒性造成负面影响。本文针对杂乱室内场景对三维物体感知算法中的位姿估计和点云分类问题展开研究。在物体六自由度位姿估计问题上,现有算法在面对严重遮挡及深度成像的系统性噪声时精度仍不能令人满意。本文提出双向对应关系映射网络(Bi Co-Net)以解决上述缺陷。该算法仅通过匹配一对分别位于相机坐标系和模型坐标系的有向点对即可计算位姿,使得它在严重遮挡以及稀疏点云的情况下能表现出鲁棒的性能。该算法还通过挑选和集成以直接回归方式获得的候选位姿和以有向点对匹配方式获得的候选位姿来缓解点云噪声的负面影响。实验证明了Bi Co-Net在主流基准数据集上能取得最先进的性能并且相较于现有方法更加鲁棒。在点云分类问题上现有基准数据集上的点云样本覆盖了物体完整表面并且被预先对齐到一个类别级标准位姿下,与杂乱室内场景中在任意视角下观测且只覆盖物体部分表面的点云有很大出入,使得这些基准数据集上提出的算法容易受点云位姿变化和点云不完整性的干扰。为此,本文提出了更贴合实际应用场景的对单视角部分(single-view partial)点云进行分类的设定,并将之前的基准数据集修改到该设定下以拓展点云分类问题的研究领域。本文分析和验证了在单视角部分点云分类设定下引入有监督位姿估计的必要性,并提出位姿伴随点云分类网络(PAPNet)。该算法利用了可控卷积的旋转等变性,在特征空间中用估计位姿显式地将观测点云变换到类别级标准位姿下,从而缓解后续点云分类任务的语义歧义性。另外该算法使用了一种位姿集成策略来缓解不可靠估计位姿给点云分类带来的负面影响。实验证明了PAPNet在单视角部分点云分类设定下要显著优于现有方法。
基于多源融合高精度位姿估计的三维重建系统设计与实现
这是一篇关于三维重建,位姿估计,残差网络,多源融合的论文, 主要内容为随着计算机视觉技术的飞速发展,三维重建技术已广泛应用于各个领域,诸如机器人导航、医学影像、增强现实(Argument Reality)、运动捕捉、城市规划以及考古学等领域,促进了行业的多元发展,便捷了人们的生活。随着深度学习的蓬勃发展,三维重建的发展也走上了快车道,研究者们开始将深度学习与三维重建相结合。本文设计及实现了基于多源融合高精度位姿估计的三维重建系统,采用多种传感器结合,采用紧密耦合的方式融合相机传感器和高精度的IMU(Inertial Measurement Unit,惯性测量单元),获取高精度的相机位姿,然后结合标定的相机内参,能够重建出高精度的三维模型。基于多源融合高精度位姿估计的三维重建系统采用基于ResNet50的特征金字塔网络进行训练得到模型权重,用户只需上传一组连续图像以及对应的相机位姿,同时上传相机内参,本文经过后台处理加载训练得到的模型权重文件即可返回重建的三维模型。开发工作方面,本文基于软件工程的思想,首先调研了三维重建技术、位姿估计技术的研究现状,选取了系统开发用到的技术;然后介绍了本文融合RGB-D相机与高精度IMU的方式和训练使用的网络模型;然后本文对系统进行了功能性需求分析和非功能性需求分析,使用了用例图、流程图等方式;接下来是系统概要设计,主要包括各功能模块的设计以及数据库的设计;本文详细介绍了系统各模块的设计与实现,进行了系统的详细设计与实现;最后本文对系统进行了全面的系统测试,确保了本文系统可在高并发环境下安全使用。目前,本文的系统开发和测试工作已经完成,本文提出的室内三维重建系统可以实现良好的用户交互,用户可以轻松生成三维模型并进行三维模型的管理,为用户提供了便捷的重建服务,同时基于云服务进行开发,可以轻松实现模型文件云存储,本系统体现了良好的前景及应用价值。
基于RGB-D图像的三维重建与规划抓取研究
这是一篇关于系统标定,三维重建,位姿估计,路径规划,抓取姿态的论文, 主要内容为作为互联网经济的重要来源,电商行业与仓储行业的发展突飞猛进,机器视觉已经成为仓储机器人研究的重要技术,提高了机器人的应对能力。传统的办法是直接基于三维点云匹配的方法,点云量大复杂,处理起来十分困难,算法既不简单也不准确。基于序列图像来识别与分割物体比较准确但缺少三维信息。因此,本论文构建了一套以RGB-D相机为主要传感器,将图像识别与三维点云数据提取相结合,以先分割物体后获取三维点云进行重建为基础,根据场景进行路径规划和物体抓取的智能机械臂系统。论文的工作内容及成果如下:(1)搭建了一个机械臂智能抓取的实验平台。平台分别对系统标定、物体识别与三维重建、路径规划、七自由度位姿估计、路径规划与抓取姿态生成进行了研究,形成了一套整体的路径规划抓取软硬件智能实验系统。(2)对RGB-D相机进行了系统标定。研究了RGB-D相机的标定原理,同时比较了不同的标定方法,利用张正友标定法实现了对相机的标定,对彩色相机和深度相机进行了配准。对机械臂与相机构成的Eye-in-hand系统根据Tsai方法进行手眼标定数据仿真分析,考虑机械臂末端存在的误差时也能得到较准确的相机坐标系与机械臂末端坐标系的转换关系。(3)对基于序列图像的三维物体重建进行了研究。针对图像特点,使用基于SURF的匹配方法和MSAC算法进行特征匹配并筛选删除误匹配的点。根据SFM重建得到空间点三维信息,求解相机投影矩阵,获取稀疏点云,利用CMVS/PMVS将稀疏点云进一步生成稠密点云,使用统计滤波对点云模型进行噪声点去除。物体特征丰富与序列图像的增多会降低运行速度,重建形状误差在0.2-0.35之间,能满足获取obj模型文件需求。(4)基于七轴仿真机械臂进行了物体位姿估计与规划抓取。在MATLAB仿真平台下建立七轴机械臂运动学模型,进行运动学正逆求解,生成左右臂的曲直线路径规划,得到关节变量关系图和机械臂末端位姿的计算结果。在VREP仿真环境下导入物体模型,机械臂末端对目标物体定位并测距,可达水平距离0.82m,根据物体位姿计算结果生成KUKA LBR机械臂的路径规划曲线,规划时长20s之内,位置误差0.003m,姿态误差0.2deg,同时安装夹持器进行物体抓取实验,对不同物体抓取准确率进行了分析。
面向非合作目标的初始位姿解算方法研究
这是一篇关于图像检索,位姿估计,特征匹配,注意力机制,EPnP的论文, 主要内容为近年来,航天领域高速发展,航天器也成为了一个重点发展点。航天器在进行多种任务的过程中,都需要实时掌握空间目标的位姿情况并以此来进行相关操作,比如编队飞行、在轨服务、主动碎片清除、彗星和小行星探测等。本文以对图像整体以及其中特征点和关键点的信息匹配为主要研究内容,并在此基础上解算图像中目标的位姿。相对于日常图像数据集,空间目标数据集的距离尺度更大,光照条件更加复杂,增加了对图像处理的难度。本文首先尝试先使用图像检索查找出相似图像,然后利用特征点匹配求得具体位姿。在图像检索方面,设计了一种基于Net VLAD的图像检索模型,将主干网络提取出的特征编码为VLAD描述算子。为了强调图像中具有特异性的特征,本文提出了一种通道与空间分离的注意力模块ICSA,ICSA权重不随输入特征的变化而改变,这使得该模块不仅模型更加精简,运行速度也较快。并且显著提高了网络检索的性能。然后将检索出的图像与输入图像进行特征匹配,计算出量图像中物体之间的相对位姿,并结合几何约束求解出位姿。另外,本文也采用了建立二维关键点与三维关键点匹配关系,然后解算位姿的方法。本文在少数图像中物体上选取了的二维关键点,使用三角测量算法计算出对应的三维关键点坐标,并依据三维关键点的坐标对图像中二维关键点进行标注,用来监督训练。本文采用了基于FPN架构的编码器-解码器网络对图像中的二维关键点预测,以建立二维关键点与三维关键点匹配关系。该网络的解码器部分每一层都输出二维关键点位置的估计,并通过RANSAC和EPn P算法进行融合并求解出最后的位姿。最后本文也通过实验证明了在该网络中添加了注意力模块可以提升网络性能。
增强现实技术在通信网智慧运维系统中的应用研究
这是一篇关于增强现实,通信网运维,SIFT,POSIT-DLS,位姿估计的论文, 主要内容为增强现实是智能时代极具前沿的计算机视觉应用技术,已逐渐应用到各个领域,其中通信网运维系统就是一个重要的研究方向。三维注册和虚实融合是实现增强现实的关键技术。三维注册是根据3D-2D点对实时估计相机位姿并获得虚拟物体相对于真实场景的位置;虚实融合是根据三维注册信息匹配出对应的虚拟物体,实现虚拟信息与真实场景的融合叠加。现有的增强现实技术在应用到通信网运维系统中时会面临图像识别延时较大、位姿估计误差大、以及人机交互响应较慢等问题。本文围绕在实际的运维系统中融合了增强现实技术时,如何解决图像识别、位姿估计以及移动端呈现技术开展研究。本文主要研究工作如下:(1)提出一种基于等间隔圆环描述符的改进SIFT(Scale Invariant Feature Transform)算法。针对传统SIFT算法精度低和数据冗余问题,采用由三个等间隔的圆环组成的圆形描述符代替矩形描述符,从而改善了算法的旋转不变性。根据参考点与关键点的距离对圆环设置不同的权值,可以提高算法的精度。改进的SIFT算法为三个圆环区域分配三个阈值,并通过构建算法数学模型匹配出最佳的阈值。实验分析证明,相比于传统的SIFT算法,改进后的算法在精度、计算时间效率、匹配正确率和旋转不变性等方面都有较大改善。(2)提出了一种基于期望收敛的POSIT-DLS(Pose from Orthography and Scaling with Iterations-Direct Least Squares)相机位姿估计技术。针对迭代法相机位姿估计技术计算时间较长而非迭代法精度又比较低的问题,对传统的POSIT算法进行优化,改进后的算法每次迭代的输入由之前部分迭代输出的期望决定,构造哈希表存储部分输入与输出的键值对,使用布隆过滤器优化哈希表,从而提高算法精度和时间效率。采用直接最小二乘法求出相机位姿初始值后,通过改进的POSIT算法快速精确地估计相机位姿。实验测试结果表明,相比于POSIT等大部分迭代法,改进后算法明显提升了计算时间效率,而相比于大部分非迭代法,则明显提升了算法精度。(3)设计并实现基于增强现实的通信网智慧运维功能。采用本文提出的改进SIFT图像识别算法和DLS-POSIT相机位姿估计技术,在实际通信网运维场景中设计和实现了以下功能:构造三维虚拟仿真模型,开发通信网智慧运维移动端软件,以手持设备系统为运行平台实现虚实融合、人机交互、三维注册等增强现实操作,开发基于Springboot的交互式网页,实现Web端远程监测与虚拟信息展示及后台支撑。软件测试结果表明,本文设计的基于移动端和Web端的两种不同架构的AR应用程序功能正常,有较高的兼容性和鲁棒性,用户体验良好。
月面图像三维重建与位姿估计
这是一篇关于月面导航,三维重建,目标检测,视差估计,宽基线,图像匹配,位姿估计的论文, 主要内容为三维重建和位姿估计是月球车视觉导航的重要任务。由于没有大气散射,月面环境光照变化大,存在很多阴影区域,同时月面弱纹理和重复纹理区域较多,这些都给同站点图像可靠三维重建带来了很多困难。对于不同站点间采集的宽基线图像对,它又进一步叠加了大尺度和大视角变化的特点,导致图像在特征匹配和位姿估计的过程中难度很大,极容易出现过多的错误匹配,直接导致位姿估计失败。现有方法需要依赖人工辅助才能完成前后站的特征匹配。因此对月面同站点图像的三维重建和不同站点图像的位姿估计技术展开研究,对于提升月球车的自主导航能力具有重要意义。针对月面同站点三维重建效果差的问题,本文提出了基于马尔可夫随机场和Gwc Net视差估计网络的改善方案。首先使用马尔可夫随机场根据SIFT稀疏视差图生成稠密视差图,随后将该稠密视差图作为伪真值,监督Gwc Net网络的训练,改善了月面图像的视差估计精度。同时,为了进一步提高陨石坑等重点区域的三维重建精度,本文利用Yolov5目标检测网络对重点区域进行检测,然后在视差网络Gwc Net的loss函数设计中,赋予重点区域更高的权重,提高了重点区域视差估计的精度,为月面导航过程中的避障提供了有利的帮助。针对月面不同站点宽基线图像特征匹配和位姿估计难的问题,本文提出了基于合成视图和ASpan Former自注意力网络的特征匹配和位姿估计方案。基于获得的同站点致密视差图和站点之间的先验位姿信息,将后一站点的图像转换到前一站点获得合成图像,将该合成视图作为前后站点特征匹配的中介,利用ASpan Former得到匹配点对后将其投影回原图像。最后根据获得的匹配对,采用优化算法估计不同站点的位姿。该算法能够较好的克服月面纹理弱、重复纹理多的场景下匹配错误率高的问题,提高了算法在复杂场景下匹配的鲁棒性和位姿估计精度。
面向室内场景的移动机器人位姿估计方法研究
这是一篇关于三维重建,特征配准,位姿估计,SLAM,深度学习的论文, 主要内容为三维重建是计算机视觉领域的重要研究热点之一,是获取物体和场景三维模型的重要手段,可以应用在无人机、自动驾驶汽车等移动机器人领域。在三维重建中,高精度的位姿估计是准确地重建出物体和环境三维模型的关键。随着信息技术和移动设备的迅速发展,室内场景的实时定位逐渐受到了广泛的关注。而室内场景复杂、多变等特点也给位姿估计带来了挑战。针对现有移动机器人所采用的基于多视图和三维点云的位姿估计方法中存在的不足,本文从提升位姿估计精度、增强系统鲁棒性、提高算法速率等方面展开了研究,主要的工作有:1、针对可应用于移动机器人位姿估计的多视图ORB-SLAM2在应对模糊图像时存在着建图和定位方面的不足,提出了一种基于模糊图像剔除和特征点相关性加权的位姿优化方法。该方法增加了基于Harr小波变换的模糊图像剔除环节,设计了基于特征匹配点间相关性的加权位姿估计和优化函数。在开源数据集和实际室内环境下的测试结果表明了本文优化方法的有效性。2、针对动态场景影响ORB-SLAM2的轨迹位姿估计精度和三维重建效果的问题,构建一种基于Yolov6深度神经网络的动态SLAM系统。该系统引入Yolov6网络建立了动态检测环节,将Yolov6检测到的动态特征点剔除,保证后续系统位姿估计的精度;并设计了动态参数特征提取模块,让系统能获得足够的特征点数量,避免系统跟踪丢失。在开源数据集和真实环境中的实验测试结果验证了本文方法在动态环境下的鲁棒性及有效性。3、针对REGTR点云配准方法中位姿估计的速率和精度问题,构建了提升位姿估计计算速度的Fast-REGTR网络结构和提高位姿估计精度的GMS-REGTR网络。首先,通过阈值筛选掉重叠系数较低的特征点,降低了位姿计算时所处理的数据量,构建了计算速率更快的Fast-REGTR方法。其次,通过将图像处理任务中的多尺度网络模块迁移到点云特征提取中,增强骨干网络的特征提取和学习能力,构建了GMS-REGTR方法。在3DMatch和Model Net40数据集上的实验结果分别验证了Fast-REGTR对缩短位姿估计计算时间的有效性,以及GMS-REGTR对整体配准精度提升的帮助。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码驿站 ，原文地址：https://m.bishedaima.com/lunwen/46513.html
