基于三维点云的场景分类与分割方法研究
这是一篇关于三维点云,深度学习,局部特征,点云分类,语义分割的论文, 主要内容为随着科技的进步,计算机视觉技术日趋成熟,三维点云数据已成为场景理解和三维模型的重要来源,三维点云数据在无人驾驶、工业检测等领域的应用越来越广泛。点云语义划分要求对输入点云数据进行分类并添加语义标记,这是图像处理、三维建模和计算机视觉等领域中最为棘手的问题,也是当前的热点研究方向。传统的点云分割技术依靠手工设计实现,其操作过程复杂,且自动化和智能化程度不高,Point Net++是一种具有高自适应和高智能的点云语义网络,本文在局部区域特征提取及网络构建方面进行改进,设计出模型性能更好的SA-Point Net++网络,主要工作如下:(1)针对FPS处理规模较大的点云数据时间损耗快速上升的问题,重新选择下采样算法,由于使用的点云数据规模较大,通过对比分析RS、IDIS、FPS三种采样算法,确定使用RS采样算法处理海量点云数据。针对Point Net++网络混淆点云的几何和其他附加特征问题,提出将点云中各点的几何特征与其他多类特征分开提取,并设计SPoint Net层,从而提高点云中各点附加信息的的利用率,保证合法性。(2)针对Point Net++网络对局部区域提取特征时存在缺失,从而限制网络对精细场景的识别以及对复杂场景的泛化能力问题,受到图像自注意调整的启示,提出三维点云位置注意调整机制,加强局部区域中点与点的关联。为了进一步提高Point Net++网络的语义分割精度,增加点云的感受野,提出三层编码器和解码器结构。为了应对参数增加带来的过拟合问题,提出使用Dropout结构和携带权重的交叉熵代价函数。本文从理论的角度分析上述方法的合理性,并在公开数据集Model Net、Shape Net和S3DIS上进行对比实验,通过执行物体分类和场景分割任务,分析评价指标,验证本文所提方法的有效性和通用性。SA-Point Net++网络在Model Net数据集上的总体分类精度为93.5%,相比于Point Net++提高了2.8%;在Shape Net数据集上的m Io U值为86.2%,相比于Point Net++提高了1.1%;在S3DIS数据集的Area_5中的总体精度为82.80%,相比于Point Net++提升了1.7%,m Io U值为52.60%,相比于Point Net++提升了3.21%。
基于三维激光点云的林果园场景多目标分类及分割研究
这是一篇关于林果园场景感知,深度学习,PointNet++,点云分类,语义分割的论文, 主要内容为林果园场景的分类与分割是实现林果园自动化与智能化管理的基础。随着深度学习的发展,基于视觉图像的林果园场景分类分割技术均取得了一定的成果,但是图像易受天气、光照等因素的影响。而点云不受光照等外部环境的影响,且具有丰富的特征信息。因此本文基于林果园场景点云数据,构建基于深度学习的林果园多目标分类以及单木冠层分割网络框架,有利于提高林果园场景目标分类及冠层分割的准确率,为林果园精准植保喷雾和树木生长监测等管理作业提供切实可行的方法和技术支持。论文主要研究内容如下:(1)针对目前林果园场景数据集匮乏的问题,本文构建了一套林果园多目标分类以及单木冠层分割数据集。通过Livox Horizon大疆激光扫描仪对典型林果园场景进行了多类别目标的三维点云采集作业,使用Cloud Compare软件进行分割及标注等预处理,再对点云数据进行归一化和数据集扩增操作,最终制作了一套用于林果园场景的多目标分类与单木冠层分割任务的数据集。其中分类数据集包括六个类别分别为高树、灌木、枯树、行人、指示牌、其它(种植盆),共包含3357个点云数据。分割数据集是从分类数据集的高树与枯树类别中挑选915个点云数据进行冠层分割得到。(2)提出了一种将Point Net++与卷积块注意力模块(Convolutional Block Attention Module)相结合的林果园场景多目标分类方法。将注意力模块嵌入Point Net++中以实现对该网络的改进,通过从通道与空间两个维度实现对特征的筛选,加强有用特征并弱化无关特征,降低参数量的同时便于网络更好的对目标点云进行特征学习;此外还引入了Leaky Re Lu激活函数,获得较好的非线性变换效果。在自制数据集上的实验结果表明,本文提出网络的分类总体精度达到96.38%,分类速度达到0.04秒/帧,相比于Point Net以及Point Net++网络的分类性能更优。并在公开数据集Model Net40上进行了验证,本文方法的总体精度相比于Point Net和Point Net++网络分别提高了2.9%和0.96%,进一步验证了本文所提方法的有效性。(3)基于Point Net++分割网络提出了一种自适应采样邻域特征融合的单木冠层分割方法。针对点云存在离群点的问题,提出自适应采样模块实现位置调整获得不同的权重,降低离群点带来的干扰;针对Point Net++没有很好的考虑内部点云之间的影响,提出了一种邻域特征学习模块,该模块学习中心点和邻域点以及邻域点相互之间的关系,充分获取上下文之间的信息,从而提升模型的特征提取能力;之后利用所提出的特征融合模块将新的局部特征信息与全局特征信息进行充分融合,从而进一步提升模型的分割性能。在单木冠层分割数据集上的实验结果表明,本文所提方法的m Io U达到了89.61%,优于Point Net++网络。并在公开数据集Shape Net上进行实验,相比于Point Net++本文方法m Io U提高了0.61%,具有更高的分割准确率。
基于点云数据的数字孪生车间建模方法研究
这是一篇关于深度学习,车间建模,小样本学习,点云分类的论文, 主要内容为随着制造业转型升级的快速发展,智能制造已成为全球制造业发展的重要趋势,建设数字化车间是实现智能制造的核心之一。数字孪生车间作为数字化车间的典型模式,其在建模过程中仍面临着建模工作量大、周期长、不易扩展等难题,导致建模效率低下且精度不高。点云数据因其简洁的数学表示和准确的物体描述能力,在建模领域具有明显优势,受到了国内外学者的广泛关注,特别是随着深度学习的迅猛发展,为点云数据分析处理提供了强大的技术支撑。为此,本文以实现数字孪生车间快速、高效、准确建模为目的,重点研究了基于点云数据的数字孪生车间建模方法。主要研究内容如下:(1)通过对学校实训车间进行考察,确定了使用倾斜摄影数据采集技术所需的飞行器高度及航摄重叠度等参数,并采用大疆精灵4 RTK小型多旋翼高精度无人机完成了车间点云场景数据的采集。(2)针对采集到的车间点云数据噪声分布特点,先采用布料模拟滤波去除了地面噪点,然后用统计滤波去除了周围环境噪点,获得了完整的、可分割的车间点云数据。在此基础上,针对车间点云数据密度差异大以及簇的数量未知等情况,采用了一种基于密度的聚类算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)对车间点云数据进行分割,探索了DBSCAN算法在不同参数组合下的分割性能,最终实现了车间点云数据的自动、高效分割。(3)针对每台机床点云数据由于采样点数量不均匀导致无法满足深度学习算法输入要求的问题,采用基于体素下采样和均匀下采样相结合的方法对点云数据进行降采样,保证了点云数据在信息损失最小化的同时达到了模型的输入要求。针对采集到的车间机床点云数据数量不足的情况,采用点云旋转、平移以及随机缩放的方法对其进行数据增强,实现了机床点云数据集的扩充,从而获得了一个适用于深度学习的平衡机床点云数据集。(4)针对车间机床点云数据样本少导致深度学习算法模型难以进行有效训练的问题,提出了一种能有效整合局部特征和全局特征的改进Point Net++模型,并将其作为孪生神经网络的共享网络以建立小样本学习模型。为验证模型的有效性,在不同数量的点云训练样本下进行了多组对比实验,实验结果表明,模型不仅有效提升了在小数据集下的分类准确率,而且也具有很强的泛化能力。(5)基于上述车间点云数据预处理、点云分割及点云分类的研究成果,开发了数字孪生车间建模原型系统。并在系统中新增了定位坐标获取、自动建模和模型库管理等功能,完善了数字孪生车间建模系统的原型功能,实现了基于点云数据的自动、高效及低成本的数字孪生车间快速建模。
分类任务驱动的点云深度下采样方法研究
这是一篇关于点云下采样,点云分类,联合训练,多尺度网络的论文, 主要内容为传统下采样方法对点云数据进行预处理,降低点的数量同时保持点云几何形状,其在实际应用中存在的问题是,忽略了采样点与下游应用任务的关联性,造成下游应用任务性能下降。任务驱动的深度下采样方法将采样过程与下游任务相结合,在采样网络中加入对应用任务的性能约束,使深度神经网络能够最终学习到一种针对任务优化的采样方法。但目前任务驱动的点云下采样方法中,采样模块普遍采用MLP提取点云特征,其特征提取能力弱,造成下游处理任务性能较低,仍存在改进的空间。因此,本文选题基于分类任务驱动的点云深度下采样方法,通过提高下采样模块的特征提取能力,从而进一步提升下游点云处理任务性能,完成的工作与创新点如下:(1)设计了一种基于Transformer的分类任务驱动的点云深度下采样网络。网络由采样模块和分类任务模块组成,其中采样模块由Transformer特征提取层和残差连接组成,特征提取层利用全局特征描述符对点云语义特征进行提取,并基于全局特征实现对采样模式的自适应学习,而引入残差连接旨在减少网络不同层之间信息的传递损失,提高网络鲁棒性。任务模块选取Point Net点云分类网络,通过级联的MLP层实现对点云特征进行提取,并引入分类准确度指标用来衡量采样点性能。最后,在Model Net40数据集上对提出的采样模块进行验证,结果表明,本文提出的采样模块在2倍、8倍、16倍、32倍采样率下,采样点任务准确度比其他3种参考方法提升约0.2%-6.9%,可视化结果也表明改进后的采样模块取得了更好效果。(2)针对采样模块在低采样率下性能不佳的问题,设计了一种分类任务驱动的并行多尺度Transformer点云深度下采样网络。首先,设计多尺度网络结构对采样模块进行改进,采样模块由多尺度特征融合模块与坐标对齐模块构成,前者首先通过设置不同采样半径,搭配KNN算法确定点云局部邻域,然后通过MLP对不同局部信息进行提取,最后经过最大池化层完成特征聚合;后者基于MLP实现对点云深层语义特征提取,利用输出的坐标仿射矩阵,改善因物体摆放角度不同对分类识别造成的误差。最后,对提出的多尺度采样模块进行实验验证,结果表明,在不同采样率下所提多尺度采样模块均能取得更好性能,尤其是在低采样率下采样模块性能提升显著,其可视化结果也表明所提采样模块对物体边缘点特征提取能力显著加强。
基于快速点特征直方图的点云识别研究
这是一篇关于快速点特征直方图算子,点云分类,点云分割的论文, 主要内容为近年来,点云处理包括点云分类和分割技术在自动驾驶、智慧城市等领域具有广泛应用前景。目前的点云网络采用复杂的局部特征聚合模块以提取欧氏空间中的邻域点信息,这带来巨大的计算和内存消耗。此外,现有点云网络忽略大量欧式距离远但特征相似的点,这些点对于更好地理解点云几何结构具有重要研究意义。本文提出了一种基于快速点特征直方图(FPFH)算子的点云网络,利用简单易算的FPFH算子聚合点云局部邻域特征,并结合FPFHConv模块在特征空间中聚合局部和非局部特征,更好地捕获点云特征信息。算法在Model Net40数据集上的分类准确率为93.2%,在Shape Net part数据集上的平均交叉比(m Io U)值为86.4%,S3DIS数据集上的语义分割m Io U值为68.54%。实验证明,该算法获得了性能上的提升。本文从计算和内存角度分析了点云网络效率低的原因,即特征计算和邻域搜索两个主要计算瓶颈无法并行执行而产生关键路径依赖。针对点云网络效率低的原因,本文依据多层感知机近似满足分配率进行了算法设计,提出了特征计算并行算法,优化了FPFHConv网络,并拓展到经典点云网络中。算法在几乎不影响模型精度的情况下,让特征计算与邻域搜索操作可以并行执行,同时显著降低了特征计算的计算量与内存访存次数,同时具有一定的拓展性。实验结果证明了特征计算并行算法可以有效降低点云网络的运行时间与能量消耗,并破除了点云网络运行中的关键路径,进一步提高了点云网络的运行效率。
基于注意力机制与多层特征融合的点云分类网络研究
这是一篇关于点云分类,图卷积神经网络,注意力机制,CLIP,特征融合的论文, 主要内容为随着深度学习的不断发展,点云数据和图像数据一样,逐渐变成了一种深度学习的基本数据。点云数据的分类是点云数据信息的获取和三维重建的关键技术,有着广泛的应用,由于点云数据具有无序性和不规则性等特点,使得对于点云进行高精度的分类任务具有一定的挑战性。经过不断的发展,点云分类完成了由基于传统方法对点云数据进行分类到现有的使用深度学习方法对点云进行分类,但现有的基于深度学习的点云分类方法在提取点云特征时,存在点云局部信息提取不充分、没有关注点云通道和空间特征信息、忽略点云全局上下文多层特征的融合且没有关注到点云的二维特征信息等问题。针对上述问题,主要研究工作如下:(1)针对现有基于深度学习的三维点云分类网络模型中存在缺少点云局部特征的提取、忽略全局上下文特征、没有关注到点云通道和空间特征信息等问题,提出一种基于图卷积与融合注意力机制的点云分类网络模型GFANet。首先,将三维点云看做图上的节点,通过KNN算法进行构图,并通过堆叠多个图卷积层来动态捕捉点与点之间的信息,加强局部特征提取能力,然后,引入融合注意力机制模块来提取点云通道及空间特征信息,最后,通过多层特征融合的方式获得点云全局上下文特征。实验结果表明,该网络模型在Model Net40数据集上取得了92.5%的分类准确率。(2)针对现有三维点云分类网络缺乏对点云二维相关特征信息的提取,借助二维CLIP经验,研究设计了一种基于三维点云投影图像的点云分类方法3D CLIP。该方法通过文本编码器提取点云的文本描述特征,通过图片编码器提取点云二维投影图片特征,并通过计算相关特征的最大相似度来对点云特征进行分类任务。实验结果表明,在不同的点云分类网络模型上加入3D CLIP能够提高网络的分类准确率,3D CLIP可以作为三维点云分类网络模型的一种插件,弥补三维点云分类网络缺乏点云二维特征信息提取的不足,从而提高网络的分类精度。(3)对于所提出的两种点云分类网络模型,将GFANet网络与3D CLIP网络进行模型融合,能够获得更好的点云分类结果。GFANet加3D CLIP的点云分类方法不仅能够使网络关注到点云的全局上下文特征信息,加强网络局部特征提取能力,而且能够使网络提取到点云二维特征信息,提高网络模型的分类准确率。实验结果表明,GFANet加3D CLIP的点云分类方法在Model Net40数据集上取得了93.6%的分类准确率,说明GFANet加3D CLIP的点云分类方法能够显著提升三维点云分类网络的分类精度。
分类任务驱动的点云深度下采样方法研究
这是一篇关于点云下采样,点云分类,联合训练,多尺度网络的论文, 主要内容为传统下采样方法对点云数据进行预处理,降低点的数量同时保持点云几何形状,其在实际应用中存在的问题是,忽略了采样点与下游应用任务的关联性,造成下游应用任务性能下降。任务驱动的深度下采样方法将采样过程与下游任务相结合,在采样网络中加入对应用任务的性能约束,使深度神经网络能够最终学习到一种针对任务优化的采样方法。但目前任务驱动的点云下采样方法中,采样模块普遍采用MLP提取点云特征,其特征提取能力弱,造成下游处理任务性能较低,仍存在改进的空间。因此,本文选题基于分类任务驱动的点云深度下采样方法,通过提高下采样模块的特征提取能力,从而进一步提升下游点云处理任务性能,完成的工作与创新点如下:(1)设计了一种基于Transformer的分类任务驱动的点云深度下采样网络。网络由采样模块和分类任务模块组成,其中采样模块由Transformer特征提取层和残差连接组成,特征提取层利用全局特征描述符对点云语义特征进行提取,并基于全局特征实现对采样模式的自适应学习,而引入残差连接旨在减少网络不同层之间信息的传递损失,提高网络鲁棒性。任务模块选取Point Net点云分类网络,通过级联的MLP层实现对点云特征进行提取,并引入分类准确度指标用来衡量采样点性能。最后,在Model Net40数据集上对提出的采样模块进行验证,结果表明,本文提出的采样模块在2倍、8倍、16倍、32倍采样率下,采样点任务准确度比其他3种参考方法提升约0.2%-6.9%,可视化结果也表明改进后的采样模块取得了更好效果。(2)针对采样模块在低采样率下性能不佳的问题,设计了一种分类任务驱动的并行多尺度Transformer点云深度下采样网络。首先,设计多尺度网络结构对采样模块进行改进,采样模块由多尺度特征融合模块与坐标对齐模块构成,前者首先通过设置不同采样半径,搭配KNN算法确定点云局部邻域,然后通过MLP对不同局部信息进行提取,最后经过最大池化层完成特征聚合;后者基于MLP实现对点云深层语义特征提取,利用输出的坐标仿射矩阵,改善因物体摆放角度不同对分类识别造成的误差。最后,对提出的多尺度采样模块进行实验验证,结果表明,在不同采样率下所提多尺度采样模块均能取得更好性能,尤其是在低采样率下采样模块性能提升显著,其可视化结果也表明所提采样模块对物体边缘点特征提取能力显著加强。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码项目助手 ,原文地址:https://m.bishedaima.com/lunwen/48575.html