基于机器视觉的橙果定位采摘方法与试验
这是一篇关于橙果,识别,定位,机器视觉,采摘执行器,深度相机的论文, 主要内容为橙果是我国重要的经济作物之一,常栽种于丘陵山地,采摘所需劳动量极大,实现橙果的机械化、智能化采摘迫在眉睫。针对生长环境复杂、光线变化、枝叶遮挡等因素对橙果采摘执行器作业的干扰,本文对橙果定位与采摘方法进行了研究并完成了试验验证,为后续装备研发和果蔬采摘机器人的研制提供理论和技术参考。本文主要工作如下:(1)橙果采摘装置视觉系统的构建与调试:针对果实三维定位需求,本文选择了双目结构光深度相机Real Sense d435i构建视觉系统,采用眼固定方式安装相机;基于图像处理算法结合深度相机,完成了果实的三维定位;标定了相机内外参,完成了果实三维坐标的坐标系转换;基于路径最短原则,确定了果实的最佳采摘顺序;使用Py Qt软件设计了人机交互界面,提升了操作的效率及方便性;(2)橙果识别算法的对比、选择和优化:分别使用基于形态学的图像处理算法、3D点云处理算法和深度学习模型3种方法进行果实识别。基于形态学的图像处理算法中,基于色差法结合大津法(Otsu)对果实进行分割提取,对分割后的果实进行轮廓检测,获取果实质心坐标;针对重叠果实,采用分水岭结合形态学的处理算法实现重叠连通域的分割,再进行轮廓检测。3D点云处理算法中,采用基于色彩的阈值分割方法分离果实、去除背景,采用基于欧式距离的聚类方法结合随机抽样一致性算法对多个果实进行分类并拟合,获取果实质心位置及半径。深度学习模型中,选用YOLOv4模型,使用Mobile Net v2模块代替CSPDarknet网络作为主干网络,使用深度可分离卷积代替部分标准卷积,实现模型的轻量化。改进模型的识别准确率、召回率、调和均值F1、平均精度分别为97.57%、92.27%、94.85%、97.24%,模型大小为46.5 M。比较了3种识别算法的效果:在同一测试集中,对上述3种识别算法进行验证。结果表明:形态学图像处理算法、3D点云处理算法和改进YOLOv4算法的识别成功率分别为79.49%、74.36%和98.72%。改进YOLOv4模型的识别成功率较其他两种算法大幅提升,在复杂的自然环境中具有较强的鲁棒性。(3)橙果定位算法的设计与验证:设计了基于深度相机结合改进YOLOv4模型的橙果定位方法。该方法将果实定位过程分解为二维定位及深度获取两个步骤。采集果实的彩色图及深度图,经数据对齐后,基于改进YOLOv4模型完成果实质心的二维坐标获取,记录该点位置,将其映射到深度相机获取的深度图中以获取该点的深度值,并对果实半径进行求解。利用测试集对上述定位算法进行验证,结果表明:识别成功率达98.72%,三维定位成功率达96.15%。深度信息获取过程中,平均绝对误差MAE为3.48 cm,平均绝对百分比误差MAPE为2.72%。(4)采摘执行器硬件及控制系统的搭建与测试:以直角坐标机械臂作为采摘执行机构、三爪型柔性自适应机械爪为采摘末端执行器搭建硬件系统;以笔记本电脑作为上位机,以STM32作为主控制器构建控制系统。视觉系统实现果实的三维定位后,通过STM32的定时器输出固定数量脉冲控制各根轴上的步进电机转动固定圈数,实现目标果实的接近。基于RS485原理控制机械爪开闭,完成果实的抓取与松放。(5)定位精度试验及采摘试验的设计与实现:在室内条件下对所提视觉引导方法的定位精度进行验证,结果表明:X、Y、Z方向上的平均绝对误差分别为:5.85 mm、6.76 mm、8.59 mm,误差在末端执行器容错范围内,符合实际采摘时的定位精度要求。在室内室外条件下分别进行了采摘试验:室内条件下本文所提算法的采摘成功率达87.29%。考虑机械臂有效行程及室外光照造成的深度信息获取失败问题,在室外条件下设置果实采摘范围,对处于采摘范围内的果实进行采摘,结果表明室外条件下采摘成功率达79.81%,平均单果采摘时间为8.9 s。
黄瓜智能采摘视觉识别系统
这是一篇关于黄瓜采摘,YOLOv4网络模型,深度相机,目标检测,卷积神经网络的论文, 主要内容为我国是人口和农业大国,城镇化以及人口老龄化的加剧,使得支撑农业发展的从业人口急剧减少,急需农业现代化快速发展以弥补人民群众对物质生活需求的快速提升。黄瓜、西红柿、茄子等大棚作物属于选择性采摘作物,具有采摘周期长,果实成熟时间不一,作业效率要求高等特点。本研究以黄瓜这一典型大棚蔬菜为例,研究开发适用于黄瓜自动化采收装备的视觉识别、定位系统。主要研究如下:(1)研究搭建了一种适用于黄瓜等大棚作物选择性采摘的机器视觉实验平台。采用内部集成IMU(Inertial Measurement Unit)的Intel Realsense D435i深度相机搭建硬件平台,在种植大棚实地采集多种工况下黄瓜数据集。研究结合深度相机测距原理和图像噪声类型的滤波处理算法,对获取的数据进行自适应预处理,以提高后期定位的准确度。(2)研究开发了一种适用于现场快速精确处理的黄瓜识别定位算法。通过颜色阈值分割法、HOG(Histogram of Oriented Gradient)+SVM(Support Vector Machine)目标检测算法对黄瓜识别性能的测试、分析,并比较分析现有研究中常用的One Stage目标检测算法中的SSD、YOLOv4和Two Stage目标检测算法中的Faster RCNN对黄瓜数据集的检测速度和精度等性能指标,和解决YOLOv4检测速度慢的问题,提出搭建运用Mobile Net系列网络和Dense Net系列网络构成主干特征提取网络的YOLOv4轻量型算法作为目标检测算法的黄瓜现场采摘识别定位方法,并进行实验室和现场条件测试验证,实验结果表明轻量化的方法在兼顾识别精度的基础上,极大的提高了模型速度。(3)依据硬件平台和改进优化目标定位算法,研究开发黄瓜采摘自适应定位系统。通过标定深度相机,获取修正后的内、外参数,实现深度图像和RGB图像匹配对齐以保证对黄瓜三维参数的快速、准确获取。研究基于黄瓜长条型性状的九区域取样法,增加黄瓜深度信息提取的准确性,研究采用采摘点三区域采样法,提高黄瓜采摘点的定位精度。为了提高黄瓜采摘效率,依据获得的黄瓜整体物理特征,研究采用黄瓜生理特性中较明显的长度特征来判断果实成熟度,并开发黄瓜实时检测、定位软件模块,实现视觉系统的界面化显示。
基于机器视觉的橙果定位采摘方法与试验
这是一篇关于橙果,识别,定位,机器视觉,采摘执行器,深度相机的论文, 主要内容为橙果是我国重要的经济作物之一,常栽种于丘陵山地,采摘所需劳动量极大,实现橙果的机械化、智能化采摘迫在眉睫。针对生长环境复杂、光线变化、枝叶遮挡等因素对橙果采摘执行器作业的干扰,本文对橙果定位与采摘方法进行了研究并完成了试验验证,为后续装备研发和果蔬采摘机器人的研制提供理论和技术参考。本文主要工作如下:(1)橙果采摘装置视觉系统的构建与调试:针对果实三维定位需求,本文选择了双目结构光深度相机Real Sense d435i构建视觉系统,采用眼固定方式安装相机;基于图像处理算法结合深度相机,完成了果实的三维定位;标定了相机内外参,完成了果实三维坐标的坐标系转换;基于路径最短原则,确定了果实的最佳采摘顺序;使用Py Qt软件设计了人机交互界面,提升了操作的效率及方便性;(2)橙果识别算法的对比、选择和优化:分别使用基于形态学的图像处理算法、3D点云处理算法和深度学习模型3种方法进行果实识别。基于形态学的图像处理算法中,基于色差法结合大津法(Otsu)对果实进行分割提取,对分割后的果实进行轮廓检测,获取果实质心坐标;针对重叠果实,采用分水岭结合形态学的处理算法实现重叠连通域的分割,再进行轮廓检测。3D点云处理算法中,采用基于色彩的阈值分割方法分离果实、去除背景,采用基于欧式距离的聚类方法结合随机抽样一致性算法对多个果实进行分类并拟合,获取果实质心位置及半径。深度学习模型中,选用YOLOv4模型,使用Mobile Net v2模块代替CSPDarknet网络作为主干网络,使用深度可分离卷积代替部分标准卷积,实现模型的轻量化。改进模型的识别准确率、召回率、调和均值F1、平均精度分别为97.57%、92.27%、94.85%、97.24%,模型大小为46.5 M。比较了3种识别算法的效果:在同一测试集中,对上述3种识别算法进行验证。结果表明:形态学图像处理算法、3D点云处理算法和改进YOLOv4算法的识别成功率分别为79.49%、74.36%和98.72%。改进YOLOv4模型的识别成功率较其他两种算法大幅提升,在复杂的自然环境中具有较强的鲁棒性。(3)橙果定位算法的设计与验证:设计了基于深度相机结合改进YOLOv4模型的橙果定位方法。该方法将果实定位过程分解为二维定位及深度获取两个步骤。采集果实的彩色图及深度图,经数据对齐后,基于改进YOLOv4模型完成果实质心的二维坐标获取,记录该点位置,将其映射到深度相机获取的深度图中以获取该点的深度值,并对果实半径进行求解。利用测试集对上述定位算法进行验证,结果表明:识别成功率达98.72%,三维定位成功率达96.15%。深度信息获取过程中,平均绝对误差MAE为3.48 cm,平均绝对百分比误差MAPE为2.72%。(4)采摘执行器硬件及控制系统的搭建与测试:以直角坐标机械臂作为采摘执行机构、三爪型柔性自适应机械爪为采摘末端执行器搭建硬件系统;以笔记本电脑作为上位机,以STM32作为主控制器构建控制系统。视觉系统实现果实的三维定位后,通过STM32的定时器输出固定数量脉冲控制各根轴上的步进电机转动固定圈数,实现目标果实的接近。基于RS485原理控制机械爪开闭,完成果实的抓取与松放。(5)定位精度试验及采摘试验的设计与实现:在室内条件下对所提视觉引导方法的定位精度进行验证,结果表明:X、Y、Z方向上的平均绝对误差分别为:5.85 mm、6.76 mm、8.59 mm,误差在末端执行器容错范围内,符合实际采摘时的定位精度要求。在室内室外条件下分别进行了采摘试验:室内条件下本文所提算法的采摘成功率达87.29%。考虑机械臂有效行程及室外光照造成的深度信息获取失败问题,在室外条件下设置果实采摘范围,对处于采摘范围内的果实进行采摘,结果表明室外条件下采摘成功率达79.81%,平均单果采摘时间为8.9 s。
基于机器视觉的橙果定位采摘方法与试验
这是一篇关于橙果,识别,定位,机器视觉,采摘执行器,深度相机的论文, 主要内容为橙果是我国重要的经济作物之一,常栽种于丘陵山地,采摘所需劳动量极大,实现橙果的机械化、智能化采摘迫在眉睫。针对生长环境复杂、光线变化、枝叶遮挡等因素对橙果采摘执行器作业的干扰,本文对橙果定位与采摘方法进行了研究并完成了试验验证,为后续装备研发和果蔬采摘机器人的研制提供理论和技术参考。本文主要工作如下:(1)橙果采摘装置视觉系统的构建与调试:针对果实三维定位需求,本文选择了双目结构光深度相机Real Sense d435i构建视觉系统,采用眼固定方式安装相机;基于图像处理算法结合深度相机,完成了果实的三维定位;标定了相机内外参,完成了果实三维坐标的坐标系转换;基于路径最短原则,确定了果实的最佳采摘顺序;使用Py Qt软件设计了人机交互界面,提升了操作的效率及方便性;(2)橙果识别算法的对比、选择和优化:分别使用基于形态学的图像处理算法、3D点云处理算法和深度学习模型3种方法进行果实识别。基于形态学的图像处理算法中,基于色差法结合大津法(Otsu)对果实进行分割提取,对分割后的果实进行轮廓检测,获取果实质心坐标;针对重叠果实,采用分水岭结合形态学的处理算法实现重叠连通域的分割,再进行轮廓检测。3D点云处理算法中,采用基于色彩的阈值分割方法分离果实、去除背景,采用基于欧式距离的聚类方法结合随机抽样一致性算法对多个果实进行分类并拟合,获取果实质心位置及半径。深度学习模型中,选用YOLOv4模型,使用Mobile Net v2模块代替CSPDarknet网络作为主干网络,使用深度可分离卷积代替部分标准卷积,实现模型的轻量化。改进模型的识别准确率、召回率、调和均值F1、平均精度分别为97.57%、92.27%、94.85%、97.24%,模型大小为46.5 M。比较了3种识别算法的效果:在同一测试集中,对上述3种识别算法进行验证。结果表明:形态学图像处理算法、3D点云处理算法和改进YOLOv4算法的识别成功率分别为79.49%、74.36%和98.72%。改进YOLOv4模型的识别成功率较其他两种算法大幅提升,在复杂的自然环境中具有较强的鲁棒性。(3)橙果定位算法的设计与验证:设计了基于深度相机结合改进YOLOv4模型的橙果定位方法。该方法将果实定位过程分解为二维定位及深度获取两个步骤。采集果实的彩色图及深度图,经数据对齐后,基于改进YOLOv4模型完成果实质心的二维坐标获取,记录该点位置,将其映射到深度相机获取的深度图中以获取该点的深度值,并对果实半径进行求解。利用测试集对上述定位算法进行验证,结果表明:识别成功率达98.72%,三维定位成功率达96.15%。深度信息获取过程中,平均绝对误差MAE为3.48 cm,平均绝对百分比误差MAPE为2.72%。(4)采摘执行器硬件及控制系统的搭建与测试:以直角坐标机械臂作为采摘执行机构、三爪型柔性自适应机械爪为采摘末端执行器搭建硬件系统;以笔记本电脑作为上位机,以STM32作为主控制器构建控制系统。视觉系统实现果实的三维定位后,通过STM32的定时器输出固定数量脉冲控制各根轴上的步进电机转动固定圈数,实现目标果实的接近。基于RS485原理控制机械爪开闭,完成果实的抓取与松放。(5)定位精度试验及采摘试验的设计与实现:在室内条件下对所提视觉引导方法的定位精度进行验证,结果表明:X、Y、Z方向上的平均绝对误差分别为:5.85 mm、6.76 mm、8.59 mm,误差在末端执行器容错范围内,符合实际采摘时的定位精度要求。在室内室外条件下分别进行了采摘试验:室内条件下本文所提算法的采摘成功率达87.29%。考虑机械臂有效行程及室外光照造成的深度信息获取失败问题,在室外条件下设置果实采摘范围,对处于采摘范围内的果实进行采摘,结果表明室外条件下采摘成功率达79.81%,平均单果采摘时间为8.9 s。
基于机器视觉的橙果定位采摘方法与试验
这是一篇关于橙果,识别,定位,机器视觉,采摘执行器,深度相机的论文, 主要内容为橙果是我国重要的经济作物之一,常栽种于丘陵山地,采摘所需劳动量极大,实现橙果的机械化、智能化采摘迫在眉睫。针对生长环境复杂、光线变化、枝叶遮挡等因素对橙果采摘执行器作业的干扰,本文对橙果定位与采摘方法进行了研究并完成了试验验证,为后续装备研发和果蔬采摘机器人的研制提供理论和技术参考。本文主要工作如下:(1)橙果采摘装置视觉系统的构建与调试:针对果实三维定位需求,本文选择了双目结构光深度相机Real Sense d435i构建视觉系统,采用眼固定方式安装相机;基于图像处理算法结合深度相机,完成了果实的三维定位;标定了相机内外参,完成了果实三维坐标的坐标系转换;基于路径最短原则,确定了果实的最佳采摘顺序;使用Py Qt软件设计了人机交互界面,提升了操作的效率及方便性;(2)橙果识别算法的对比、选择和优化:分别使用基于形态学的图像处理算法、3D点云处理算法和深度学习模型3种方法进行果实识别。基于形态学的图像处理算法中,基于色差法结合大津法(Otsu)对果实进行分割提取,对分割后的果实进行轮廓检测,获取果实质心坐标;针对重叠果实,采用分水岭结合形态学的处理算法实现重叠连通域的分割,再进行轮廓检测。3D点云处理算法中,采用基于色彩的阈值分割方法分离果实、去除背景,采用基于欧式距离的聚类方法结合随机抽样一致性算法对多个果实进行分类并拟合,获取果实质心位置及半径。深度学习模型中,选用YOLOv4模型,使用Mobile Net v2模块代替CSPDarknet网络作为主干网络,使用深度可分离卷积代替部分标准卷积,实现模型的轻量化。改进模型的识别准确率、召回率、调和均值F1、平均精度分别为97.57%、92.27%、94.85%、97.24%,模型大小为46.5 M。比较了3种识别算法的效果:在同一测试集中,对上述3种识别算法进行验证。结果表明:形态学图像处理算法、3D点云处理算法和改进YOLOv4算法的识别成功率分别为79.49%、74.36%和98.72%。改进YOLOv4模型的识别成功率较其他两种算法大幅提升,在复杂的自然环境中具有较强的鲁棒性。(3)橙果定位算法的设计与验证:设计了基于深度相机结合改进YOLOv4模型的橙果定位方法。该方法将果实定位过程分解为二维定位及深度获取两个步骤。采集果实的彩色图及深度图,经数据对齐后,基于改进YOLOv4模型完成果实质心的二维坐标获取,记录该点位置,将其映射到深度相机获取的深度图中以获取该点的深度值,并对果实半径进行求解。利用测试集对上述定位算法进行验证,结果表明:识别成功率达98.72%,三维定位成功率达96.15%。深度信息获取过程中,平均绝对误差MAE为3.48 cm,平均绝对百分比误差MAPE为2.72%。(4)采摘执行器硬件及控制系统的搭建与测试:以直角坐标机械臂作为采摘执行机构、三爪型柔性自适应机械爪为采摘末端执行器搭建硬件系统;以笔记本电脑作为上位机,以STM32作为主控制器构建控制系统。视觉系统实现果实的三维定位后,通过STM32的定时器输出固定数量脉冲控制各根轴上的步进电机转动固定圈数,实现目标果实的接近。基于RS485原理控制机械爪开闭,完成果实的抓取与松放。(5)定位精度试验及采摘试验的设计与实现:在室内条件下对所提视觉引导方法的定位精度进行验证,结果表明:X、Y、Z方向上的平均绝对误差分别为:5.85 mm、6.76 mm、8.59 mm,误差在末端执行器容错范围内,符合实际采摘时的定位精度要求。在室内室外条件下分别进行了采摘试验:室内条件下本文所提算法的采摘成功率达87.29%。考虑机械臂有效行程及室外光照造成的深度信息获取失败问题,在室外条件下设置果实采摘范围,对处于采摘范围内的果实进行采摘,结果表明室外条件下采摘成功率达79.81%,平均单果采摘时间为8.9 s。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://m.bishedaima.com/lunwen/54631.html
