基于点云位姿估计的机械臂抓取系统研究
这是一篇关于点云位姿估计,6D目标检测,工业机械臂,点云分割,深度学习的论文, 主要内容为近年来,智能机器人技术迅速发展,越来越多的机器人取代了原来由人力劳动实现的生产活动。其中比较常见的应用场景是将物料区中散乱堆叠的零件逐个识别并使用机械臂抓取,一般包含实例分割、位姿估计等任务,其中,能否正确对零件进行位姿估计对抓取结果至关重要。传统的依赖RGB数据进行位姿估计的算法需要目标具有丰富的表面纹理信息,且无法处理遮挡导致的信息缺失问题。在点云算法研究领域,主流的位姿估计方法往往聚焦于大型室内外数据或生活物体,面向自动驾驶、生活应用等方向。在工业场景下,广泛应用的依然是简单、传统的优化算法。但是随着目标工件外形变得越来越复杂,任务要求越来越严格,机械臂的精确抓取任务面临越来越困难的挑战。本文基于工业场景,使用点云数据,结合点对特征和深度学习研究机械臂抓取系统的位姿估计和点云分割算法,并搭建完整的软硬件系统。主要研究工作和创新点如下:(1)在点云分割阶段,针对三维相机平行投影方向的成像缺失现象,提出了二维三维融合的欧式聚类,同时在边缘点回补阶段使用了更精确的k-means算法。经过自建数据集测试表明,本文提出的改进比传统欧式聚类方法有更好的性能,更适合工业环境的三维点云分割。(2)对基于点对特征的算法PPF的查询结构进行了改进,使用双层哈希表替代原有的单层结构。针对工业零件的几何特性,在扩展邻域阶段抛弃了旋转角去重步骤并采用加权投票的方法。在自建数据集和Model Net40数据集上取得了比原始算法更好的结果。(3)证明了NDT位姿优化的栅格化阶段初始旋转姿态对最终结果的影响,提出了基于拟牛顿法的最优栅格化方案,在离线阶段利用角点搜寻最优栅格化位姿,取得了比随机位姿更好的结果,在某些特定几何结构的物体上效果明显。(4)基于PCRNet位姿估计网络,使用Point Net++替换了原有的Point Net模块,提高了整体性能,增强了遮挡缺失条件下的鲁棒性。并对PCRNet的迭代机制进行了改进,使迭代效率大幅提高。
基于深度学习的隧道/巷道点云配准与分割技术及应用
这是一篇关于深度学习,点云配准,点云分割,隧道,巷道的论文, 主要内容为三维激光扫描具有非接触、快速、高精度和大规模的特点,已成为地下空间中进行测量和分析的重要工具。点云配准是复杂地下空间中获取完整区域点云的重要步骤,研究地下空间场景中隧道/巷道的点云分割算法,对该场景的信息提取具有重要意义。本文基于深度学习技术,围绕地下隧道/巷道场景下点云配准与点云分割算法,主要研究内容如下:(1)以PCRNet为基础并结合边缘卷积网络在局部特征中的优势,构建了一种新的点云配准网络网络DGRNet。在网络的特征提取模块利用边缘卷积核对输入的点云进行特征学习,可以更好地对三维点云的复杂特征变化和几何结构进行学习,提高了对场景局部特征的理解能力。物体模型和地下巷道场景实验结果表明,DGRNet网络有着更好的配准精度,并且在点云噪声影响下的配准精度稳定,具有较好的鲁棒性。(2)针对Point Net中缺少局部信息的问题构建了一种基于随机扩张K邻域的点云分割网络模型KNPNet。网络通过随机扩张K邻域提取局部特征和点邻域关系,利用点状金字塔池化层归纳局部特征,并将其与最大池化层结合,增强了对场景局部特征的理解能力。实验结果表明,KNPNet网络在部件分割和地下隧道点云场景中比现有的主流方法有着更好的分割效果。(3)制作了一组基于实测隧道的点云数据集。对实测隧道的点云数据进行旋转改正并与X轴平行,与真实情况对比后手动清除噪声点。创建标签字段对点云中不同的类别赋予不同的值,为点云语义分割提供标签依据。将标注完成的点云数据沿X轴方向以相同长度进行划分,实现了隧道数据集的制作。(4)开发了一套点云可视化软件界面。基于Visual Studio跨平台编译环境和Qt Creator界面,实现了点云读取、点云显示、点云滤波降噪、点云下采样、点云三维重建等功能。该论文有图44幅,表7个,参考文献94篇。
基于视觉反馈的双臂服务机器人系统的设计与实现
这是一篇关于视觉反馈,点云分割,双臂服务机器人,运动规划,双臂协同的论文, 主要内容为随着机器视觉、控制理论、传感器等技术的发展,双臂服务机器人行业得到快速的发展,相比于单臂机器人,双臂机器人具有仿人式结构,能够自主、快速实现复杂繁琐的任务。双臂服务机器人主要用于日常生活、家庭服务、交通运输、医疗等方面。对于普遍应用的工业机器人,简单的重复性运动不再适用复杂任务的需求,服务机器人需要通过视觉反馈对工作环境的变化进行感知,并规划出相应的运动轨迹以完成任务。视觉反馈系统是服务机器人系统中至关重要的组成部分,通过将点云数据、目标识别算法、机械臂模型参数、运动学参数等信息进行融合,实现服务机器人的运动规划,提升机器人的自主运动能力。为在餐厅、食堂等场景下实现智能打菜服务,本文对基于视觉反馈的双臂服务机器人系统进行研究,该系统自动预测出合适的打菜点,利用双臂协作完成打菜、取碗和倒菜任务。具体来说,首先,本文提出双臂服务机器人系统的设计方案以及对各个子模块进行设计,对双臂模块加持移动平台,大大增强机器人的工作空间和灵活性,同时对系统开发平台进行介绍。其次,本文设计了一个基于点云几何特征的动态图卷积网络,根据菜品表面的点云数据对打菜点进行预测,完成系统对环境的感知。此外,系统基于点云分割结果以及环境信息,结合运动规划算法实现对菜品、餐具的抓取和搬运等任务。本文对机械臂的正逆运动学进行分析,并对其路径规划算法与轨迹规划算法进行分析和推导,为双臂实现快速、平稳的运动。最后对于双臂协同倒菜任务,通过对倒菜过程中双臂末端位姿之间约束关系进行分析,结合机械臂模型参数并采用主从式运动控制实现双臂之间的协同运动。为验证本文提出的相关算法的有效性以及机器人系统的可行性,对点云分割、运动规划、双臂协同控制以及机器人系统整体功能进行实验。结果表明本文设计的模型可以根据当前菜品的点云数据为系统预测出合适的舀菜区域。系统通过运动规划算法为机械臂提供实时的运动轨迹,实现智能打菜服务并达到平均91.3%的成功率,因此充分验证本文提出的算法与双臂服务机器人系统的可靠性。
基于深度学习与三维重构的大豆表型获取方法研究
这是一篇关于大豆深度学习,三维重构,点云分割,表型组学的论文, 主要内容为大豆表型基因型的外在表现,是选择高产、优质、多抗性大豆新品种的重要指标。作物育种过程中需要对大量候选材料进行表型提取和分析,这是育种过程的重要环节。近年来,随着高通量测序技术的发展,基因组学研究取得了长足的进步,积累了海量数据。而作物表型组学仍处于依托传统测量方法的阶段,其过程费力耗时且精度不高。由于缺乏高通量的表型鉴定技术,导致表型组数据和基因组数据之间的严重不匹配。更重要的是观察者的主观性使表型测量失去了客观性。由此可见,表型获取成为了当前快速育种和智慧育种过程中亟待突破的瓶颈。深度学习与三维重构技术的发展为表型自动化提取带来了契机,设计并开发大豆表型精准化、通量化及自动化提取的模型体系是突破这一瓶颈的关键。本文基于深度学习与三维重构技术,针对大豆各时期各类器官的形态特征,开发了大豆生长期与成熟期表型自动化获取的新模型,并对大豆通量化表型技术的应用进行了初步探索。论文主要成果如下:(1)针对成熟期大豆表型获取,本文提出了一种从二维机器视觉测量大豆表型的深度学习方法(SPM-IS)。同时提出了一种用于不规则大豆器官的外接矩形框精准定位的算法,并将其融入到了表型测量模型中。试验结果表明经过60000次迭代后,Mask和Box的最大平均精度(m AP)能够达到95.7%。人工测量和SPM-IS测量的荚长、荚宽、茎长、完整主茎长、粒长和粒宽的相关系数R2分别为0.9755、0.9872、0.9692、0.9803、0.9656和0.9716。豆荚、茎和籽粒的人工计数与SPM-IS计数的相关系数R2分别为0.9733、0.9872和0.9851。结果表明,SPM-IS是一种鲁棒的测量和计数算法,可以降低劳动强度,提高效率,加快大豆育种过程。(2)对于生长期大豆植株,本研究基于多目视觉技术重构了大豆全生育期的三维模型,同时设计了Soy3D-Net深度网络,实现对三维大豆虚拟植株的分割和表型提取。针对大豆在自然生长状态下叶片、茎秆等弯曲问题,引入了Flattening算法,有效的解决了测量不准确的问题。计算出手工与Soy3D-Net测量大豆植株的株高、主茎、主茎节、叶宽、叶长、叶面积的相关系数R2分别为0.9562、0.9417、0.9509、0.9229、0.9308、0.9312。结果表明,三维重构和Soy3D-Net的结合是一种有效且精准的大豆生长期表型自动化无损测量方法。(3)对由绥农14和野生豆ZYD00006构建的导入系成熟植株茎秆图像进行识别和表型提取,获得了主茎节、主茎长度及节位数等表型。基于这些表型数据,采用聚类分析算法,筛选出12株具备特异性表型的植株。同时提出了茎秆和叶片曲度的新表型,用于评估植株主茎和叶片的弯曲程度,并通过对参试品种的分析发现,茎秆的曲度是能够体现茎秆强度的,这一新表型与作物的产量和倒伏性相关。本文基于深度学习和三维重构技术给出了大豆成熟期和生长期表型自动化提取的一套解决方案,初步实现了大豆期成熟期和生长期表型通量化和精准化地提取,为大豆表型组学研究提供了新思路,为大豆快速育种和智能育种提供了重要技术支持。
缺失牙齿的三维设计方法研究
这是一篇关于纹理重建,点云分割,牙齿分割,深度学习,镜像建模的论文, 主要内容为牙齿在人体中具有重要的功能和美学价值,其缺失不仅影响咀嚼和言语功能,还可能导致其他口腔健康问题。种植牙技术为缺失牙齿提供了有效的治疗方法,但传统的种植牙牙齿设计方法依赖于医生的经验和技能,耗时且准确性受限。随着数字化技术的发展,计算机辅助设计/计算机辅助制造(CAD/CAM)和三维扫描技术为牙齿设计带来了革命性的改变,但针对缺失牙齿的牙冠设计还是一个较为复杂的过程。本文深入研究了缺失牙齿的三维数字化设计关键技术,解决了牙齿纹理重建的实时性问题和牙齿难以自动分割的问题,并开发了一个缺失牙齿三维设计系统,实现了快速而精准的个性化牙齿设计。本文首先对现有的纹理重建方案进行改进,特别针对口内扫描的特点和结构光几何重建特性,提出了两种高效的牙齿纹理重建策略。经过实验验证,基于结构光改进的多视角纹理重建算法不仅有效地解决了传统方法中常见的纹理缝隙问题,而且通过省略传统方法中最耗时的视角选择步骤,显著提升了处理速度。基于网格参数化改进的纹理重建算法虽然在纹理细节上有所牺牲,但它能够实现实时的纹理重建,特别是对于大型点云数据,如超过50万的点云,该算法从传统的数分钟缩减至仅1.1秒,实现了秒级快速处理。接下来,本文结合网格参数化技术和深度学习方法,设计了一个两段式的牙齿分割网络。在第一阶段,通过牙齿分割子模型提取模块对网格展开图进行粗略的分割,从而获得了包含单颗牙齿的子模型。第二阶段,本文利用Point Net++网络对这些子模型进行了更为精细的分割处理。该方法在本文数据集上实现了高达96.09%的Io U,超越了许多当前的先进三维分割算法,而且在处理各种牙齿异常,如错位、拥挤或缺失等情况时,都展现出了出色的分割效果。最后,本文采用镜像对称的方法,构建了一个全面的缺失牙齿重建系统。此系统能实时展示扫描结果并对牙齿数据进行单颗牙齿分割。利用此技术,用户仅需简单操作,即可复制健康对侧牙齿,进而为缺失牙齿制定牙齿。系统简化了复杂流程,内置模块还支持牙齿的个性化优化,确保满足不同需求。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码客栈 ，原文地址：https://m.bishedaima.com/lunwen/48676.html
