基于动态结构光的自动上料技术研究
这是一篇关于自动上料,三维重建,位姿估计,CycleGAN,随机相移步长的论文, 主要内容为随着科技的日益发展,当前制造业的自动化正朝着更智能、更精确、更高效的方向发展。但在实际的生产过程中,生产线的自动上料过程仍难以实现完全自动化,这是因为加工零件在上料之前往往是随机散乱摆放的,无法通过预先编码定位的方式完成上料工作。面对这一问题,基于视觉引导的自动上料系统是当前主流的解决方案,然而在实际工厂环境下,基于视觉的自动上料系统仍受到工作环境光线明暗不一、背景复杂等干扰因素的挑战。基于上述现状及痛点,本文对工业制造场景中动态工件的三维重建和位姿估计等自动上料相关技术进行了研究,主要贡献如下:(1)针对工业制造场景中动态工件三维重建问题,提出了适应随机相移步长的动态结构光三维重建方法。该方法首先利用一幅结构光正弦光栅图案配合传输带上沿条纹垂直方向运动的工件实现相对相移。其次,为了解决由于传送带等机械装置受到外部震动、电磁辐射等干扰因素而导致相移步长不均匀的问题,该方法提出基于RPSNet的动态结构光三维重建模型,该模型以Cycle GAN网络模型为基础,使用本文提出的AIR2U-net模型作为生成器,多层卷积神经网络CNN作为判别器,实现光栅图向深度图的转换。最后,针对网络模型需要大量数据进行训练而实际工业场景中数据难以采集的问题,本文使用Thing10k数据集和Blender仿真软件制作的数据集进行模型训练。最终实现了工件较高质量的三维重建。(2)针对工业制造场景中工件的位姿估计问题,提出了基于点云配准的位姿估计方法。该方法将上述三维重建方法得到的工件点云数据和预先创建的工件模板点云数据进行点云配准,从而得到位姿关系。具体而言,两份点云数据首先使用本文提出的RPT模块进行点云的特征提取,得到点云的特征描述符后使用反向LK算法计算两个点云之间的变换矩阵,进而根据得到模板点云的位姿得到源点云的位姿数据。通过在公开数据集以及真实生产场景的数据集上与主流方法进行对比,实验结果表明,本文提出以上方法在动态场景的测量下有着优异表现。将上述方法在实际工业制造场景的上料过程进行试验,最终验证了本文提出方法的有效性。
基于深度学习的图像纹理分类在三维重建中的应用
这是一篇关于深度卷积网络,三维重建,特征提取与匹配,图像纹理分类,虚拟展示的论文, 主要内容为基于多视点图像的三维重建技术是指将从普通相机获得的二维图像生成一个三维几何模型的过程。在这个过程中,特征点的提取与匹配是获取高精度三维几何模型的核心技术之一,获取足够数量的精确的匹配点是三维重建的前提条件。随着图像数量增加以及分辨率的提高,基于图像局部特征的特征点匹配很容易导致错误匹配,甚至可能在完全不同的图像之间建立对应关系。在以光束平差法(Bundle Adjustment)为代表的照相机标定或三维重建问题中,由于随着图像数量和分辨率的增加,方程式和未知数的数量爆发性增加,能够一次性处理的图像数量是有限的,通常为几十或几百,但是对于大规模场景原始图像通常可达数千张甚至数万张。同时,由于光照条件、照相机参数、拍摄角度、拍摄距离等因素,原始图像中难免有部分图像无法满足基本的处理条件,这些图像也需要去除。基于以上问题,本论文研究原始图像的有效分类、分割及分组方法。通过分析比局部特征更大的宏观特征,对原始图像进行分类、分组、分割等处理,在降低计算成本的同时提高特征匹配的准确率,提高三维重建系统的精度和鲁棒性。本文提出以下方法来解决图像纹理分类问题。首先,对图片进行合理切割,并对切割图像使用深度卷积神经网络进行特征提取与分类。然后汇聚各个切割图特征向量,使其成为原图的全局向量表达。最后使用传统聚类的分类方式来解决图像纹理分类问题。并在三维重建具体应用场景上验证了该策略的有效性。在特征提取方面,本论文首次尝试使用材质纹理数据集以及场景纹理数据集分别在神经网络上进行图像纹理分类训练,并与在ImageNet上训练好的神经网络进行特征提取的方法进行了比较。基于实验结果,采用在ImageNet上训练好的神经网络进行特征提取。本文主要研究内容包括:1)介绍基于图像的三维重建的主要步骤、相关技术及主要问题。由此提出对三维重建原始输入图片进行纹理分类预处理的合理性以及必要性。2)详细介绍本论文提案的图像纹理分类的方法及相关结论。并为深度学习在图像纹理分类以及图像相似度分类等领域提供了新思路。3)为了便于管理、浏览以及分享最终形成的三维模型,开发了三维展示平台web项目,采用SSM(Spring、SpringMVC和Mybits)框架。
基于点云数据的三维重建关键技术研究
这是一篇关于Kinect,PCL,三维重建,点云配准,曲面重建,商品三维展示的论文, 主要内容为随着互联网的快速发展,电子商务也获得了迅速发展,双十一天猫销售额屡创新高,2017年达到了 1682亿元。随着电子商务的发展,多幅二维图片的已经不能实现充分地商品展示功能,因此三维商品展示已经成为社会迫切需求。除了用于电商平台,三维重建技术还可以用于文物数字化及修复等。但是由于三维重建过程中点云数据的获取、滤波、匹配以及曲面重建等方面存在亟待解决的关键问题,严重阻碍了三维重建技术的发展。本文提出了一种基于Kinect和PCL的低成本并且高效的三维重建系统,主要包括以下内容:(1)首先采集物体360°点云数据,然后对系统进行标定,最后根据标定信息利用直通滤波算法进行感兴趣区域提取;(2)由于采集过程中点云信息存在很多噪声,会对后续点云处理产生很大影响,本文提出一种基于体素滤波和统计滤波相结合的方法实现离群点剔除与点云数据精简,以减少点云配准的算法复杂度,有效实现了点云去噪,点云压缩率达到70%左右;(3)由于点云数据采集过程是在商品旋转过程中分多个角度逐一采集的,因此需要将各个角度的点云数据进行配准融合以保证商品的完整性。点云的配准需要经过两步,粗配准与精配准相结合,粗配准给精配准提供良好的初始位置。本文提出一种SAC-IA粗配准与ICP精配准相结合的方法,最终实现商品的完整融合;(4)经过配准融合后,需要对点云数据紧进行曲面重建,在曲面重建前做了点云平滑处理,使重建效果得到了很大的提升。本文采用Delaunay三角化和Possion算法进行实验,取得了较好的三维重建效果。通过多组实验数据验证,本文方法可以快速、准确地实现三维商品重建。
基于深度学习的实景三维多层级重建关键技术研究
这是一篇关于实景三维,室内场景重建,点云补全,语义,三维重建的论文, 主要内容为实景三维中国建设按照表达内容和层级可划分为地形级、城市级以及部件级三维建设。随着实景三维中国建设的全面推进,室内外三维模型的重建工作在摄影测量与遥感领域受到的重视日益增加。然而自动化程度低,语义信息的缺乏制约着三维模型的快速生成与广泛应用。近年来,深度学习技术发展迅速,在多种数据的语义识别和生成任务中发挥了重要作用。本文围绕城市级室外三维重建以及部件级室内三维重建的主题展开研究,在深度学习方法提供的语义信息引导下,尝试提出一种针对多层级实景三维的自动化建模框架。在城市级室外三维重建工作中,传统手工的三维重建方法存在效率低下、耗费大量人力物力的问题;其次目前的城市级自动化模型重建方法仅仅能做到整体模型构建,无法对建筑物进行自动化、结构化单体重建。针对这两个问题,本文以卫星影像及DSM为数据源,提出一种基于Mask R-CNN网络的城市区域LOD-1级模型重建技术。首先使用Mask R-CNN语义分割网络获取正射影像中建筑物形状信息,将其作为语义信息指导;其次对形状信息进行轮廓提取及规则化处理;接着将规则化的二维形状信息与DSM的三维高程信息相结合,从而实现对城市级室外建筑物的自动化建模;最后在GF-7影像及SVS软件生成的DSM上进行了相关实验。实验结果表明本文提出的方法可以实现城市级室外建筑物LOD1级建模。在部件级室内三维重建工作中,部件级室内模型更加精细、复杂,对语义信息与结构信息的精度要求更高;实际场景点云因遮挡等会出现残缺,重叠现象,影响三维重建精度;室内建模难以自动化,语义化。针对上述问题,本文以Lidar信息为主要数据源,提出一种语义化、自动化的部件级三维重建策略,主要包括三个部分:(1)首先提出一种基于图编码的点云语义分割网络LFCG-Net。网络的主要思想是使用全连接图结构进行点云特征编码以更为全面的描述点云局部特征信息,在此基础上,将多重残差的思想应用到三维点云以增大感受野,提升特征学习能力,并使用反频率权重交叉熵损失函数缓解数据集样本不平衡问题。多种点云数据集的测试结果证明了语义分割方法的有效性。(2)其次在提取的语义信息基础上提出一种基于跨模态自监督的点云补全方法PCSL,从而对于不完整的分割点云进行补全。PCSL方法主要包括掩码自编码自监督学习方法与跨模态对比学习方法两个分支。掩码自编码自监督学习方法通过对编码网络编码后的特征进行解码,从而学习点云的整体结构信息,辅助点云补全;跨模态对比学习方法是将编码后特征投影到高维空间,再通过孪生网络的对比学习获得融合特征,从而获取同类点云的共有信息,辅助点云表征学习。(3)最后在补全的具有语义信息的点云基础上,提出一种基于点云语义与模型匹配的部件级室内三维重建方法尝试进行部件级的三维重建。首先构建了3D-ESF室内模型库,并提出了基于语义分割置信度的候选模型构建策略;然后在模型与点云类别对应的基础上,提出了一种由粗到精的室内场景自动化匹配建模方法;最后在Scan Net部分数据上进行了相关实验,实验结果表明:在点云的语义信息引导下,本文提出的自动化匹配建模方法可以对部件级地物进行较为快速、准确的三维重建。
混凝土结构表观裂缝智能识别方法研究
这是一篇关于混凝土结构,表观裂缝,无损检测,深度学习,像素级识别,三维重建的论文, 主要内容为表观裂缝作为混凝土结构最常见的表观损伤之一,是影响混凝土结构使用性能的重要因素。随着混凝土结构表观裂缝的加深,表观裂缝对混凝土结构造成的负面影响不断增加,严重开裂的混凝土结构甚至可能直接导致垮塌事故。如果能在裂缝产生初期对其及时识别定位并量化其几何信息,就可以为混凝土结构关键部位安全养护提供指导建议,在一定程度上提高交通基础设施的安全性能并延长其使用年限。最近几年来,利用图像处理方法在混凝土结构上进行表观裂缝识别成为了一项新兴的研究热点,但相关研究成果尚不充分。混凝土结构表观裂缝的识别工作面临着诸多挑战,例如所应用的算法模型结构简单,检测精度不够高,周围拍摄场景复杂等。基于上述问题,本文的主要研究内容有:(1)提出了一种基于残差结构优化的混凝土结构表观裂缝识别方法,有效提高了混凝土结构真伪表观裂缝数据的分类识别精度。新构建了一种Res Net+卷积神经网络,对原有卷积神经网络Res Net进行改进,优化了原有网络中的残差结构,扩大了网络结构对于表观裂缝特征的提取能力;在数据预处理过程中利用中值滤波算法以及数据增强算法,对实地采集到的混凝土结构表观裂缝数据进行预处理,有效扩充数据集的数量,改善收集到的混凝土结构表观裂缝图片数据质量,有效削弱了原生拍摄数据中的噪声问题,为后续模型训练的鲁棒性以及精度提升奠定基础。(2)针对混凝土结构表观裂缝像素级识别精度不够高问题,对现有的Mask RCNN算法进行改进,实现了对混凝土结构表观裂缝区域的像素级识别。在改进过程中将主干网络替换为第2章中所提出的新型卷积神经网络Res Net+,同时对RPN区域候选网络进行优化,修改了原有简单的阈值筛选模式。有效解决了原有Mask RCNN算法在识别过程中出现的误检和漏检问题;利用Tensor RT技术,对混凝土结构表观裂缝分割模型进行转换,加速原有模型的推理过程,更快地呈现模型分割的混凝土结构表观裂缝区域,有利于满足模型在实际工程中的实时性需求,推动技术的实际落地应用。(3)基于第3章中二维平面的混凝土结构表观裂缝像素级识别结果,利用运动恢复结构算法对混凝土结构表观裂缝进行三维识别,实现对混凝土结构表观裂缝在三维空间中全局位置的识别;利用Cloud Compare三维点云分析软件进行分析,对混凝土结构表观裂缝三维识别结果进行展现;通过计算混凝土结构表观裂缝三维重建模型与现实世界中的比例尺,换算出模型中所体现的裂缝宽度,并将其与实际宽度测量结果进行对比,来验证该方法的准确性。
基于点云数据的三维重建关键技术研究
这是一篇关于Kinect,PCL,三维重建,点云配准,曲面重建,商品三维展示的论文, 主要内容为随着互联网的快速发展,电子商务也获得了迅速发展,双十一天猫销售额屡创新高,2017年达到了 1682亿元。随着电子商务的发展,多幅二维图片的已经不能实现充分地商品展示功能,因此三维商品展示已经成为社会迫切需求。除了用于电商平台,三维重建技术还可以用于文物数字化及修复等。但是由于三维重建过程中点云数据的获取、滤波、匹配以及曲面重建等方面存在亟待解决的关键问题,严重阻碍了三维重建技术的发展。本文提出了一种基于Kinect和PCL的低成本并且高效的三维重建系统,主要包括以下内容:(1)首先采集物体360°点云数据,然后对系统进行标定,最后根据标定信息利用直通滤波算法进行感兴趣区域提取;(2)由于采集过程中点云信息存在很多噪声,会对后续点云处理产生很大影响,本文提出一种基于体素滤波和统计滤波相结合的方法实现离群点剔除与点云数据精简,以减少点云配准的算法复杂度,有效实现了点云去噪,点云压缩率达到70%左右;(3)由于点云数据采集过程是在商品旋转过程中分多个角度逐一采集的,因此需要将各个角度的点云数据进行配准融合以保证商品的完整性。点云的配准需要经过两步,粗配准与精配准相结合,粗配准给精配准提供良好的初始位置。本文提出一种SAC-IA粗配准与ICP精配准相结合的方法,最终实现商品的完整融合;(4)经过配准融合后,需要对点云数据紧进行曲面重建,在曲面重建前做了点云平滑处理,使重建效果得到了很大的提升。本文采用Delaunay三角化和Possion算法进行实验,取得了较好的三维重建效果。通过多组实验数据验证,本文方法可以快速、准确地实现三维商品重建。
基于深度学习和三维图像重建的秸秆地水稻早期生长形态检测
这是一篇关于水稻,深度学习,三维重建,早期生长形态,秸秆还田的论文, 主要内容为秸秆全量机械化还田是一种高效环保的处理方式,但会影响下茬水稻的早期生长发育,水稻的早期生长活力直接影响着最终的产量和质量,是农艺学研究的重点关注对象,精准高效的田间水稻早期生长形态参数测量方法可以给相关研究提供强有力的帮助。数字化的三维重建可以实现无损、客观的植株形态参数测量,但现有植物三维重建方法多基于昂贵的精密设备或使用场景局限于温室盆栽作物,不利于大田研究使用。基于多视角图像的空间雕刻算法具有高效稳定和易于实现的优点,特别适用于水稻植株的三维重建和形态参数提取,但空间雕刻算法需要以植株轮廓分割图作为输入,田间复杂环境的干扰给图像分割带来了挑战。针对这些问题,本研究拟结合深度学习图像分割技术,探索一种田间水稻三维重建方法,并利用该方法提取水稻早期生长形态参数,对不同秸秆还田方式下的水稻早期生长发育情况做量化对比,为长江下游地区基于秸秆全量还田的稻麦生产作业方式的探索提供指导性参考。本文主要的研究工作内容和结论如下:(1)通过对比传统图像分割方法和基于深度学习的图像分割方法,优选出适用于田间水稻图像分割的Deep Labv3+模型,对本实验任务的测试图像平均分割性能为Io U值0.801,PA值0.986,F值0.822,优于传统图像分割方法(Ex G+Otus、Grabcut)和前代分割网络(Seg Net、PSPNet)。该方法在水稻分蘖期的不同阶段均能实现较好的图像分割效果,且能克服田间的杂草,浮萍,倒影和绿苔等干扰因素。(2)使用空间雕刻算法结合深度学习图像分割技术实现田间水稻的三维模型重建,根据植株三维模型计算得到株高、叶长、分蘖数和叶片数4个形态参数,与人工测量参数对比,决定系数R2分别为0.99、0.95、0.89、0.95,均方根误差RMSE分别为1.03、1.19、0.82、1.39,整体精度较高,重建效果明显优于基于运动恢复结构(SFM-MVS)和RGB-D相机两种经典三维重建方法。(3)利用探索出的方法对“泡田+旋耕(SR)”、“旋耕+泡田(RS)”、“翻耕+旋耕+泡田(PRS)”三种秸秆还田方式下的水稻早期生长发育情况做量化对比,得到如下结论:三种秸秆还田方式下前两周均会出现水稻生长发育受到抑制的情况,即株高、分蘖数和叶片数的增量低于空白对照组,第三周开始出现秸秆还田的增益效果,四周后分蘖数均超过空白对照组。不同处理方式对秸秆还田后的水稻生长有着不同的影响,从生长参数的增量对比来看,整体呈现出PRS>RS>SR,相比于RS和SR方式,PRS方式下的田块前期受到的抑制效果较小。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设小屋 ，原文地址：https://m.bishedaima.com/lunwen/47459.html
