基于点云配准的6D位姿估计系统的设计与实现
这是一篇关于6D位姿估计,点云配准,空间角度不变性,通道自注意力机制的论文, 主要内容为6D位姿估计技术现已广泛应用于无人驾驶、机器人感知、虚拟现实和工业装配等实际领域中。随着如激光雷达、Kinect等高精度传感器的快速发展,三维点云已成为表征三维世界的一种重要形式。通过三维点云配准,可以计算点云表征物体之间的位姿变换矩阵,成为6D位姿估计的一个重要手段。然而,在低重叠率的三维点云点对场景下,如何获取健壮的点对对应关系,提升点云配准的精度以及6D位姿估计的准确性成为一个关键的问题。本文针对该问题进行如下研究:(1)针对PointDSC网络中的特征提取模块忽略不同维度特征之间关联性的问题,本文提出了一个基于通道自注意力机制的特征融合方法。首先设计了一个通道自注意力机制引导的非局部特征提取模块,然后通过融合该模块和SCNonlocal模块中提取出的匹配对特征,为每个输入匹配对提供更好的几何特征。实验结果表明,改进后的算法对比基线模型,在配准召回率(Registration Recall,RR)、内点预测精度(Inlier Precision,IP)、内点召回率(Inlier Recall,IR)和综合评价指标(F1-measure,Fl)四项评价指标分别提升了1.54%、0.82%、0.35%和0.62%,验证了改进方法的有效性。(2)针对PointDSC网络中匹配对子集采样阶段无法有效剔除错误匹配对的问题,本文提出了一个基于空间角度不变性的二次筛选策略,利用刚体变换后空间角度不变的特性,实现对种子点匹配对子集的二次采样。对比基线模型,该方法在配准召回率(RR)、内点预测精度(IP)、内点召回率(IR)和综合评价指标(F1)上分别提升了 4.38%、2.34%、4.17%和3.23%,验证了二次筛选策略能够更加有效地剔除错误匹配对。通过结合基于通道自注意力机制改进的Nonlocal特征融合模块和基于空间角度不变性的二次筛选策略,网络在上述四个指标上分别提升了 5.61%、2.89%、5.52%和4.18%,与主流的同类型算法相比在低重叠率的场景下具有更高的配准精度以及更好的泛化能力。(3)由于粗配准算法仅能完成初步的位姿估计,因此本文通过G-ICP精配准算法进一步获取更加准确的位姿变换矩阵。针对G-ICP算法耗时较高的问题,本文将基于BBF的KD树最近邻搜索算法应用于G-ICP算法中。实验结果表明该方法可有效缩短G-ICP算法的耗时。最后在上述研究的基础上,本文设计和实现了一个基于点云配准算法的6D位姿估计系统,系统为用户提供点云预处理、关键点提取、位姿估计以及可视化等功能,以满足实际需求。
基于多目立体视觉的叶片三维形貌测量方法研究
这是一篇关于三维重建,多目立体视觉,点云配准,点云重建,叶片测量的论文, 主要内容为航空发动机被称为飞行器的“心脏”,其设计与制造水平能够体现出一个国家的制造业水平和科学技术水准。叶片是航空发动机中最重要的零件,其中叶型部分的精度决定着整个发动机的性能。在叶片生产和使用的过程中,叶型的测量结果是评估叶片质量和使用寿命的重要依据。如果叶片质量不合格,在航空发动机运行过程中出现破损、断裂等问题,将会造成巨大的安全事故。因此,对叶型进行精确和高效的三维测量具有重要意义。本课题以航空发动机叶片为研究对象,拟研究基于多目立体视觉的叶片三维形貌测量方法。通过四目从四个视角获取叶片水平方向360度的信息,实现叶片的高精度三维测量,着重解决了结构光系统中不连续区域误差、多视角点云融合以及叶片叶型参数测量等问题。文章的研究内容主要分为以下四点。(1)系统总体方案设计。首先详细分析了航空发动机叶片三维测量的技术要求,针对单目结构光系统存在重建盲区的问题,设计了基于多目立体视觉的叶片三维形貌测量方案;其次详细介绍了系统的组成,设计了四相机单投影仪的系统结构,并进行硬件选型和系统搭建。根据多目采集与重建的特点,设计了硬件并行控制时序,最后设计了整体算法流程以及软件架构。(2)基于不连续区域误差修正的结构光三维重建方法。针对叶片自由复杂曲面导致的不连续区域相位误差问题,将不连续区域相位误差修正融入到系统标定中,设计了基于不连续区域相位误差修正的三维重建方法。首先对相机标定的原理进行详细分析,完成了相机标定。其次针对不连续区域的相位误差问题,分析了误差产生的原理,对其进行数学建模,并提出相位误差修正方法,完成对不连续区域相位的修正。接着根据修正后的相位,利用逆相机法,完成对投影仪的标定。最后利用双目标定原理,进行系统标定,实现从二维条纹图像计算得到叶片的三维点云。(3)基于多目立体视觉的叶片点云配准与姿态校正。针对叶片强扭曲导致的阴影问题,利用相移原理,提出了基于时间灰度的阴影去除方法,有效地去除了叶片条纹图像中的阴影,降低重建点云的噪声。针对单目结构光系统的盲区问题,提出了基于多目立体视觉系统参数的点云粗配准方法,补全盲区的点云信息。对于叶片表面过曝导致的点云缺失问题,提出基于点云精配准的反光区域修复方法,获得有着叶片完整形貌的三维点云。针对叶片测量基准设定难的问题,提出基于圆柱面识别的姿态校正方法,对叶片姿态进行修正,校正了叶片姿态。最后设计试验,验证了本文提出的点云配准方法与姿态校正方法的精度。(4)基于模型分析的叶片精密测量方法。首先针对叶片点云密度不均匀问题,提出基于体素采样的点云预处理方法,使得叶片型面各区域点云密度一致。其次针对叶片曲面边缘存在的伪边缘和错误孔洞填充问题,提出了基于法向约束的屏蔽泊松重建方法,消除了曲面重建后物体边缘的冗余信息,减少了错误空洞填充,提高了曲面重建后叶片模型表面质量。然后,对叶片模型进行等距切片,获得叶片截面的轮廓曲线。最后,提出基于多项式拟合的叶片参数建模方法,完成对叶片前后缘圆弧、叶盆叶背曲线的数学建模以及前后缘半径、弦长和叶片最大厚度的测量。本课题主要研究面向航空发动机叶片的多目立体视觉三维重建算法,并基于此开发了叶片形貌三维测量系统程序,其中主要包括系统标定、三维重建、点云处理与三维测量等功能模块。为验证提出算法的有效性,基于实际航空发动机叶片进行了多目立体视觉系统标定与三维重建精度试验、点云配准与曲面重建试验,叶片模型切片与截面测量试验。试验结果表明,多目立体视觉三维测量系统具有较高的精度与鲁棒性,三维重建的绝对精度为0.03mm,重复精度为0.01mm;叶型测量的绝对精度为0.03mm,满足课题要求。
基于多目立体视觉的叶片三维形貌测量方法研究
这是一篇关于三维重建,多目立体视觉,点云配准,点云重建,叶片测量的论文, 主要内容为航空发动机被称为飞行器的“心脏”,其设计与制造水平能够体现出一个国家的制造业水平和科学技术水准。叶片是航空发动机中最重要的零件,其中叶型部分的精度决定着整个发动机的性能。在叶片生产和使用的过程中,叶型的测量结果是评估叶片质量和使用寿命的重要依据。如果叶片质量不合格,在航空发动机运行过程中出现破损、断裂等问题,将会造成巨大的安全事故。因此,对叶型进行精确和高效的三维测量具有重要意义。本课题以航空发动机叶片为研究对象,拟研究基于多目立体视觉的叶片三维形貌测量方法。通过四目从四个视角获取叶片水平方向360度的信息,实现叶片的高精度三维测量,着重解决了结构光系统中不连续区域误差、多视角点云融合以及叶片叶型参数测量等问题。文章的研究内容主要分为以下四点。(1)系统总体方案设计。首先详细分析了航空发动机叶片三维测量的技术要求,针对单目结构光系统存在重建盲区的问题,设计了基于多目立体视觉的叶片三维形貌测量方案;其次详细介绍了系统的组成,设计了四相机单投影仪的系统结构,并进行硬件选型和系统搭建。根据多目采集与重建的特点,设计了硬件并行控制时序,最后设计了整体算法流程以及软件架构。(2)基于不连续区域误差修正的结构光三维重建方法。针对叶片自由复杂曲面导致的不连续区域相位误差问题,将不连续区域相位误差修正融入到系统标定中,设计了基于不连续区域相位误差修正的三维重建方法。首先对相机标定的原理进行详细分析,完成了相机标定。其次针对不连续区域的相位误差问题,分析了误差产生的原理,对其进行数学建模,并提出相位误差修正方法,完成对不连续区域相位的修正。接着根据修正后的相位,利用逆相机法,完成对投影仪的标定。最后利用双目标定原理,进行系统标定,实现从二维条纹图像计算得到叶片的三维点云。(3)基于多目立体视觉的叶片点云配准与姿态校正。针对叶片强扭曲导致的阴影问题,利用相移原理,提出了基于时间灰度的阴影去除方法,有效地去除了叶片条纹图像中的阴影,降低重建点云的噪声。针对单目结构光系统的盲区问题,提出了基于多目立体视觉系统参数的点云粗配准方法,补全盲区的点云信息。对于叶片表面过曝导致的点云缺失问题,提出基于点云精配准的反光区域修复方法,获得有着叶片完整形貌的三维点云。针对叶片测量基准设定难的问题,提出基于圆柱面识别的姿态校正方法,对叶片姿态进行修正,校正了叶片姿态。最后设计试验,验证了本文提出的点云配准方法与姿态校正方法的精度。(4)基于模型分析的叶片精密测量方法。首先针对叶片点云密度不均匀问题,提出基于体素采样的点云预处理方法,使得叶片型面各区域点云密度一致。其次针对叶片曲面边缘存在的伪边缘和错误孔洞填充问题,提出了基于法向约束的屏蔽泊松重建方法,消除了曲面重建后物体边缘的冗余信息,减少了错误空洞填充,提高了曲面重建后叶片模型表面质量。然后,对叶片模型进行等距切片,获得叶片截面的轮廓曲线。最后,提出基于多项式拟合的叶片参数建模方法,完成对叶片前后缘圆弧、叶盆叶背曲线的数学建模以及前后缘半径、弦长和叶片最大厚度的测量。本课题主要研究面向航空发动机叶片的多目立体视觉三维重建算法,并基于此开发了叶片形貌三维测量系统程序,其中主要包括系统标定、三维重建、点云处理与三维测量等功能模块。为验证提出算法的有效性,基于实际航空发动机叶片进行了多目立体视觉系统标定与三维重建精度试验、点云配准与曲面重建试验,叶片模型切片与截面测量试验。试验结果表明,多目立体视觉三维测量系统具有较高的精度与鲁棒性,三维重建的绝对精度为0.03mm,重复精度为0.01mm;叶型测量的绝对精度为0.03mm,满足课题要求。
面向货架环境的物体检测与定位研究
这是一篇关于物体检测,位姿估计,深度网络,点云配准,机械臂辅助的论文, 主要内容为物流仓库全自动化是电商零售行业进一步扩张的必然要求,能够有效解决零售仓库配送效率低,人力成本高,工作强度高等问题。目前订单履行中心的绝大多数业务已实现自动化,但货架商品的分拣作业仍占用了大量人力。利用机器人实现货物识别定位的分拣算法依然不够成熟,真正能够在仓库货架中投入应用产品极少,分拣自动化被认为是电商全自动化的最后一公里问题。随着电商行业的蓬勃发展,对于高效率,高质量的全自动仓库要求越来越高,迫切要求更好地解决大量货架商品的识别定位问题。本课题基于开源的ROS操作系统,深度学习框架Caffe和点云库PCL进行货架环境下货物的视觉检测与位姿估计研究,结合Jaco机械臂实现多角度检测定位,构建基于视觉传感器和机械臂的货架商品检测定位系统。考虑到仓库货架商品数量巨大,货架环境复杂,光线较差,利用深度学习算法SSD作为基础网络,借鉴Faster RCNN和YOLO9000网络算法思想,提出并实现SSD模型中预选框的优化,并利用优化模型实现更精确的位置回归,实现对货架环境的目标检测算法的进一步提高。针对货架商品的位姿估计,利用视觉测量领域主流方法实现深度传感器Xtion的外参和内参的标定,提出了结合半径近邻搜索算法,粒子滤波算法和点云配准算法的新一类位姿估计方法。为解决货架物品定位中局部视角和点云稀少问题,使用机械臂辅助移动深度传感器,实现多角度特征和点云的提取。机械臂的运动控制中使用DH法进行正运动学建模,使用牛顿迭代法求解逆运动学数值解。本课题以ROS为核心搭建货架环境下物体检测定位的算法框架,利用Jaco机械臂辅助进行货架商品的检测定位实验,成功检测并定位到模拟货架中目标商品,获得较满意的效果,完成了课题既定要求,验证了所提出的目标检测和定位方法在货架环境下的有效性和可行性。
面向HoloLens2扫描数据的三维人体测量研究
这是一篇关于HoloLens2,三维网格数据预处理,点云配准,点云曲面重建,三维人体测量的论文, 主要内容为近年来,三维人体测量技术蓬勃发展。传统的接触式测量虽然成本较低,但结果容易受到测量者经验的影响;而基于结构光和激光等非接触式测量设备的精度较高,但价格昂贵且操作难度大,因此在实际应用中难以普及。为了降低人体尺寸的测量成本和获取难度,本文使用HoloLens2获取三维人体数据,并以此为基础研究三维网格数据的预处理、点云配准、点云曲面重建、点云聚类分割以及三维人体测量,为三维人体测量提供了新途径。主要研究内容如下:(1)针对HoloLens2获取数据效率慢、质量不高的问题,先完成HoloLens2设备端的MRTK空间感知系统环境部署,再完成三维网格数据的获取,然后设计了一种基于三维网格数据的预处理流程:去除离群噪声、重拓扑、平滑滤波以及孔洞补全。经过预处理后,三维网格数据质量得到提升的同时保留了原始数据的形状表征。(2)针对HoloLens2采集数据容易缺失的问题,本文将获取的多个不同部位缺失的人体网格数据转换成点云格式进行配准融合,以得到更加完整的三维人体数据,提出了一种基于Modified RANSAC与Point-to-PlaneICP的快速点云配准方法。相较于ICP、SAC-IA和“体素+SAC-IA+ICP”等经典配准算法,本文配准方法不受点云间相对位置的影响,在提高配准精度的同时,保证了较高的配准效率。(3)针对传统曲面重建算法中PCA算法估计法向量存在的问题,本文提出了先使用移动最小二乘法来进行点云的平滑以及法线估计,再结合最小生成树算法进行法向量重定向的方法。相较于使用PCA算法进行法线估计的屏蔽泊松重建算法,使用本文法向量估计方法的屏蔽泊松重建算法可以通过更少的三角面片数量完成更高精度的模型表示。(4)在点云配准和点云曲面重建的研究基础上,本文对三维人体测量方法进行研究,首先在曲面重建的模型基础上完成手动测量和测量误差分析,在手动测量误差分析的基础上,针对手动测量的不足,设计了一种结合人体分割的三维人体自动测量方法。实验结果表明,该自动测量方法适用于标准姿态的人体测量,设计合理有效,测量结果较精准。(5)三维人体测量系统设计与开发:以PCL为开发库,基于Qt Designer开发UI界面构建测量系统,该系统可以对HoloLens2获取的三维网格数据进行预处理、对三维网格数据转换成的点云数据进行配准、对配准融合后的完整点云进行曲面重建、点云分割以及基于分割后的局部人体点云进行自动测量,满足了标准姿态人体的测量需求。
基于激光扫描系统的机车车顶异物检测
这是一篇关于机车车顶,三维点云,点云配准,相关熵,异物检测的论文, 主要内容为铁路作为中国重要的基础设施和春运期间最主要的交通工具,其客、货运输系统正处于高速发展阶段,同时也伴随着巨大的运行安全压力。机车车顶异物的存在是列车运行的安全隐患,如损毁列车固有设备,造成列车无法正常运行等。但是机车车顶异物的检测与定位至今仍是一个难点,目前国内外并没有一套完整的体系可以自动完成机车车顶的异物检测。本文提出了一种基于激光扫描结合点云处理的异物检测方法。首先,论文采用一台三维激光扫描仪LMS400对车顶进行扫描。扫描仪不容易受到光线等外界干扰。其次,激光扫描仪的距离传感器获得的数据经速度校正后,在空间坐标系下重构成三维点云。距离传感器获得的数据是极坐标下包括距离与角度的信息,为了获得真实的三维点云,我们在列车前进方向加入速度的因素,使点云成为实际运动过程中的点云。然后,我们使用改进的ICP算法进行点云配准。最后,我们采用基于动态阈值的背景差法来查找异物。本论文在前期用MATLAB进行仿真,实现所有算法并达到检测要求后,将前期仿真的算法转换成C代码。实验仿真结果显示,基于相关熵度量的鲁棒ICP配准算法有较高的配准精度和较快的收敛速度,同时,异物也能准确地被检测出来。论文最后对本方法进行了总结并提出了一些有待改进的地方,对后续的研究任务做出了展望。
医学影像引导中脊椎分割与配准的算法研究
这是一篇关于图像分割,DRR,图像配准,点云配准,Huber损失函数的论文, 主要内容为随着医学成像技术和计算能力的不断发展,微创手术广泛应用于临床实践,这对于影像引导系统、图像的分割与配准技术、可视化技术以及人机相互系统的要求更高。在术中引导过程中,需要全方位的检测手术介入全过程,给予临床医生对每个细小环节的把控,这需要多种模态的医学图像共同作业,构建解剖结构的时间与空间信息互补。譬如,临床上关于脊椎相关疾病的诊断,特别是脊椎部位,无论是术前病理诊断与分析、术中引导介入过程,还是术后疗效评估,都需要扫描CT或MRI作为辅助手段,其中,CT图像对骨骼结构敏感,成像效果好,在术前诊断分析过程中,临床医生可借助CT图像快速、精准定位椎骨的病灶区域和位置。医生从图像中获取患者病灶模型是一项繁琐而耗时的工作,此外,对于同一个病人,在两个不同的观察者之间可能存在着显著的差异性,最终的图像分析高度依赖于医生的专业知识。因此,一种可校准的、可预测的以及自动化的图像分割方法非常重要,它可以节省大量时间并提供更加精确的分割结果。为了向临床医生提供实时手术环境的分割与配准模型,本文提供新的基于脊椎图像的分割与配准算法,其中包括图像相似度的测量标准。然而,目前基于CT脊柱图像的分割与配准仍然是存在一些缺陷,如分割边界模糊、分割过程中图像细节信息的丢失、配准耗时较长以及迭代效率低下等。因此,本文以下方面做了重要研究:(1)由于医学影像图像边界较为模糊,传统的语义分割网络往往缺乏低层信息、缺乏详细的语义信息,基于U-Net网络,本文提出一种改进的网络结构,该方法在U-Net的图像特征提取中引入多尺度信息和新的残差连接,可以更好地结合高层次和低层次的特征信息,防止图像的细节在上采样过程中被稀释。通过实验分析表明,本文提出的分割模型使得图像的分割边界更加清晰、骨骼检测和定位的准确度将大大提高。(2)不同的X光设备的型号不同,拍摄出的X射线图像的质量会存在较大差异,如边界模糊、特征不明显以及对比度差等情况。因此,在医学图像配准过程中,传统的相似度计算方法难以准确地评估其有效特征,针对这一缺陷,本文提出一种局部归一化互相关加权的相似度方法,通过计算单节脊椎的相似度方法,提高算法的鲁棒性。为了验证这一方案的有效性,利用DRR模拟图像进行测试,在相同的变化参数范围内,本文所提出的方案计算出的相似度具有更加明显的变化。因此,该方法能够较大调高后续配准的精确度以及缩短配准的时间。(3)搜索策略是2D/3D医学图像配准中至关重要的一步,它决定着算法能否在更快的时间内计算出最佳的相似度值。传统的优化算法,如变邻域搜索的算法(VNS)和蚁群优化算法(ACO)具有迭代次数多,搜索步长难以确定等弊端。协方差自适应进化算法(CMA＿ES)具有较强的收敛速度和搜索步长自适应变化的特性,但对于较大数据空间,很容易陷入局部最优解中。针对上述问题,本文提出在CMA＿ES中引入近端优化策略(PPO),通过在每次迭代中对少量样本的更新以及搜索步长的自适应变化,来提高搜索效率,从而获得全局最佳变换参数矩阵。(4)在基于点特征的配准方法中,最常用的方法是用快速点特征直方图(FPFH)匹配,损失函数选最小二乘法(TLS),它对有噪声和干扰的数据具有很强的鲁棒性,然而,该方法在存在大量离群值的条件下会产生一个较差的估计。为了针对这一缺陷,本文在TLS函数中引入Huber损失函数,可以减少数据中对于异常值的敏感性。实验结果表明,本文提出的方法可以有效降低离群值对于配准结果的影响。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码货栈 ，原文地址：https://m.bishedaima.com/lunwen/48649.html
