基于机器视觉的橙果定位采摘方法与试验
这是一篇关于橙果,识别,定位,机器视觉,采摘执行器,深度相机的论文, 主要内容为橙果是我国重要的经济作物之一,常栽种于丘陵山地,采摘所需劳动量极大,实现橙果的机械化、智能化采摘迫在眉睫。针对生长环境复杂、光线变化、枝叶遮挡等因素对橙果采摘执行器作业的干扰,本文对橙果定位与采摘方法进行了研究并完成了试验验证,为后续装备研发和果蔬采摘机器人的研制提供理论和技术参考。本文主要工作如下:(1)橙果采摘装置视觉系统的构建与调试:针对果实三维定位需求,本文选择了双目结构光深度相机Real Sense d435i构建视觉系统,采用眼固定方式安装相机;基于图像处理算法结合深度相机,完成了果实的三维定位;标定了相机内外参,完成了果实三维坐标的坐标系转换;基于路径最短原则,确定了果实的最佳采摘顺序;使用Py Qt软件设计了人机交互界面,提升了操作的效率及方便性;(2)橙果识别算法的对比、选择和优化:分别使用基于形态学的图像处理算法、3D点云处理算法和深度学习模型3种方法进行果实识别。基于形态学的图像处理算法中,基于色差法结合大津法(Otsu)对果实进行分割提取,对分割后的果实进行轮廓检测,获取果实质心坐标;针对重叠果实,采用分水岭结合形态学的处理算法实现重叠连通域的分割,再进行轮廓检测。3D点云处理算法中,采用基于色彩的阈值分割方法分离果实、去除背景,采用基于欧式距离的聚类方法结合随机抽样一致性算法对多个果实进行分类并拟合,获取果实质心位置及半径。深度学习模型中,选用YOLOv4模型,使用Mobile Net v2模块代替CSPDarknet网络作为主干网络,使用深度可分离卷积代替部分标准卷积,实现模型的轻量化。改进模型的识别准确率、召回率、调和均值F1、平均精度分别为97.57%、92.27%、94.85%、97.24%,模型大小为46.5 M。比较了3种识别算法的效果:在同一测试集中,对上述3种识别算法进行验证。结果表明:形态学图像处理算法、3D点云处理算法和改进YOLOv4算法的识别成功率分别为79.49%、74.36%和98.72%。改进YOLOv4模型的识别成功率较其他两种算法大幅提升,在复杂的自然环境中具有较强的鲁棒性。(3)橙果定位算法的设计与验证:设计了基于深度相机结合改进YOLOv4模型的橙果定位方法。该方法将果实定位过程分解为二维定位及深度获取两个步骤。采集果实的彩色图及深度图,经数据对齐后,基于改进YOLOv4模型完成果实质心的二维坐标获取,记录该点位置,将其映射到深度相机获取的深度图中以获取该点的深度值,并对果实半径进行求解。利用测试集对上述定位算法进行验证,结果表明:识别成功率达98.72%,三维定位成功率达96.15%。深度信息获取过程中,平均绝对误差MAE为3.48 cm,平均绝对百分比误差MAPE为2.72%。(4)采摘执行器硬件及控制系统的搭建与测试:以直角坐标机械臂作为采摘执行机构、三爪型柔性自适应机械爪为采摘末端执行器搭建硬件系统;以笔记本电脑作为上位机,以STM32作为主控制器构建控制系统。视觉系统实现果实的三维定位后,通过STM32的定时器输出固定数量脉冲控制各根轴上的步进电机转动固定圈数,实现目标果实的接近。基于RS485原理控制机械爪开闭,完成果实的抓取与松放。(5)定位精度试验及采摘试验的设计与实现:在室内条件下对所提视觉引导方法的定位精度进行验证,结果表明:X、Y、Z方向上的平均绝对误差分别为:5.85 mm、6.76 mm、8.59 mm,误差在末端执行器容错范围内,符合实际采摘时的定位精度要求。在室内室外条件下分别进行了采摘试验:室内条件下本文所提算法的采摘成功率达87.29%。考虑机械臂有效行程及室外光照造成的深度信息获取失败问题,在室外条件下设置果实采摘范围,对处于采摘范围内的果实进行采摘,结果表明室外条件下采摘成功率达79.81%,平均单果采摘时间为8.9 s。
基于机器视觉的橙果定位采摘方法与试验
这是一篇关于橙果,识别,定位,机器视觉,采摘执行器,深度相机的论文, 主要内容为橙果是我国重要的经济作物之一,常栽种于丘陵山地,采摘所需劳动量极大,实现橙果的机械化、智能化采摘迫在眉睫。针对生长环境复杂、光线变化、枝叶遮挡等因素对橙果采摘执行器作业的干扰,本文对橙果定位与采摘方法进行了研究并完成了试验验证,为后续装备研发和果蔬采摘机器人的研制提供理论和技术参考。本文主要工作如下:(1)橙果采摘装置视觉系统的构建与调试:针对果实三维定位需求,本文选择了双目结构光深度相机Real Sense d435i构建视觉系统,采用眼固定方式安装相机;基于图像处理算法结合深度相机,完成了果实的三维定位;标定了相机内外参,完成了果实三维坐标的坐标系转换;基于路径最短原则,确定了果实的最佳采摘顺序;使用Py Qt软件设计了人机交互界面,提升了操作的效率及方便性;(2)橙果识别算法的对比、选择和优化:分别使用基于形态学的图像处理算法、3D点云处理算法和深度学习模型3种方法进行果实识别。基于形态学的图像处理算法中,基于色差法结合大津法(Otsu)对果实进行分割提取,对分割后的果实进行轮廓检测,获取果实质心坐标;针对重叠果实,采用分水岭结合形态学的处理算法实现重叠连通域的分割,再进行轮廓检测。3D点云处理算法中,采用基于色彩的阈值分割方法分离果实、去除背景,采用基于欧式距离的聚类方法结合随机抽样一致性算法对多个果实进行分类并拟合,获取果实质心位置及半径。深度学习模型中,选用YOLOv4模型,使用Mobile Net v2模块代替CSPDarknet网络作为主干网络,使用深度可分离卷积代替部分标准卷积,实现模型的轻量化。改进模型的识别准确率、召回率、调和均值F1、平均精度分别为97.57%、92.27%、94.85%、97.24%,模型大小为46.5 M。比较了3种识别算法的效果:在同一测试集中,对上述3种识别算法进行验证。结果表明:形态学图像处理算法、3D点云处理算法和改进YOLOv4算法的识别成功率分别为79.49%、74.36%和98.72%。改进YOLOv4模型的识别成功率较其他两种算法大幅提升,在复杂的自然环境中具有较强的鲁棒性。(3)橙果定位算法的设计与验证:设计了基于深度相机结合改进YOLOv4模型的橙果定位方法。该方法将果实定位过程分解为二维定位及深度获取两个步骤。采集果实的彩色图及深度图,经数据对齐后,基于改进YOLOv4模型完成果实质心的二维坐标获取,记录该点位置,将其映射到深度相机获取的深度图中以获取该点的深度值,并对果实半径进行求解。利用测试集对上述定位算法进行验证,结果表明:识别成功率达98.72%,三维定位成功率达96.15%。深度信息获取过程中,平均绝对误差MAE为3.48 cm,平均绝对百分比误差MAPE为2.72%。(4)采摘执行器硬件及控制系统的搭建与测试:以直角坐标机械臂作为采摘执行机构、三爪型柔性自适应机械爪为采摘末端执行器搭建硬件系统;以笔记本电脑作为上位机,以STM32作为主控制器构建控制系统。视觉系统实现果实的三维定位后,通过STM32的定时器输出固定数量脉冲控制各根轴上的步进电机转动固定圈数,实现目标果实的接近。基于RS485原理控制机械爪开闭,完成果实的抓取与松放。(5)定位精度试验及采摘试验的设计与实现:在室内条件下对所提视觉引导方法的定位精度进行验证,结果表明:X、Y、Z方向上的平均绝对误差分别为:5.85 mm、6.76 mm、8.59 mm,误差在末端执行器容错范围内,符合实际采摘时的定位精度要求。在室内室外条件下分别进行了采摘试验:室内条件下本文所提算法的采摘成功率达87.29%。考虑机械臂有效行程及室外光照造成的深度信息获取失败问题,在室外条件下设置果实采摘范围,对处于采摘范围内的果实进行采摘,结果表明室外条件下采摘成功率达79.81%,平均单果采摘时间为8.9 s。
基于机器视觉的工件识别与定位系统研究
这是一篇关于机器视觉,识别,定位,机器人的论文, 主要内容为随着我国工业进程的进一步深化,产品生产的批量越来越大,产品生产中工艺要求也越来越精细。传统制造企业中,产品生产中的相关检测常采用人工操作或半自动化机械式操作。人工操作存在误差大、工作强度高以及成本高等问题,而使用半自动化机械操作只能单一的执行,灵活性差,无法达到自动化生产中快速、高效、智能化的要求。本文从工业生产具体应用出发,设计了一套基于机器视觉的工件识别定位检测系统,围绕该系统主要完成以下工作:(1)机器视觉系统的整体标定。建立相机视觉模型,通过Matlab标定相机,获取相机内外参数并得出其投影误差。根据实际情况,相机与机器人之间采用眼到手模型,并优化该模型的手眼标定方法,快速获取机器人坐标与相机坐标的转换矩阵。通过相机标定与手眼标定得出的参数为之后的定位打下基础。(2)图像预处理与轮廓提取。首先,结合检测工件的特性,设计了合理的图像预处理方案,通过SSIM和PSNR指标分析衡量三种滤波效果,最终选择效果较好的双边滤波。对比分析常用的分割法效果,实验表明OTSU分割法效果更优。然后,针对OTSU分割算法存在效率低和抵抗性能差问题,本文提出了改进OTSU图像分割算法。使用滤波前后的差分图像作为OTSU算法的输入,在OTSU算法中引入本文改进后的海鸥算法。通过实验表面,改进后的OTSU算法能够通清晰的提取出本文研究内容的商标轮廓信息。最后,通过形态学处理分割的图像,去除多余孤立的点并消除毛刺和孔洞。(3)针对Hu矩匹配在复杂工况下难以选取合适阈值实现精确匹配识别、SIFT特征匹配在复杂工况下存在特征点误匹配问题以及耗时较多问题,本文提出了基于全局Hu匹配和局部SIFT匹配融合的Hu-SIFT快速匹配方法,并针对融合后的Hu-SIFT算法存在的问题,提出了改进后的Hu-SIFT算法,提升匹配精度,降低了运算时间,满足了实时检测的需求。对工件检测中定位需求,提出了主轴旋转法降低了最小外接矩形的时间复杂度,并利用基于辅助模板与最小外接矩形结合的定位方法。(4)设计了产品检测定位系统。具体分析了软件主要功能,基于VS2019开发环境、MFC Windows平台应用程序开发框架以及Open CV开源图形处理库,编制了一套产品视觉检测软件系统。完成了硬件的设计、安装和调试。视觉系统计算出定位数据传输给与4轴机器人实现精确定位。本系统实现了产品在线检测、工艺定位的智能化,提高了协作厂家工业生产的自动化水平。本课题设计系统已应用于亳州福达印务有限公司生产线中,取得了很好的使用效果和经济效益。
基于计算机视觉的奶牛夜间爬跨预警系统开发
这是一篇关于夜间奶牛图像,增强,爬跨行为,识别,预警的论文, 主要内容为在奶牛饲养过程中,发情检测是一个关键的步骤。调查研究表明,奶牛发情通常发生在夜间。及时准确地检测发情可以有效提高奶牛的受孕率,大大缩短产犊周期,近而极大地提升奶牛养殖的经济效益。过去,奶牛的发情状况通常需要人工监控,这样会增加劳动成本。接触式发情检测的精度较低,使奶牛出现应激反应,对其活动量造成影响。基于奶牛鸣叫的非接触式发情检测,由于声音数据受噪声影响大,导致声音识别的鲁棒性和适应性较差。爬跨作为奶牛发情最明显的行为特征,一定可以作为非接触式发情检测的重要技术手段。为了实现奶牛发情准确高效地检测,势必需要开发一款基于机器视觉的奶牛夜间爬跨预警系统。为了使奶牛发情监测的自动化水平和智能化程度提高,本文以荷斯坦奶牛为研究对象,利用数字图像处理、深度学习、嵌入式系统开发等技术手段,开发一款基于机器视觉的奶牛夜间爬跨预警系统。主要研究内容与结论如下:(1)针对奶牛夜间图像边缘细节丢失、噪声干扰和颜色失真等低质量问题,提出一种基于高斯引导滤波MSRCR的图像增强算法。为验证提出算法图像增强的有效性,选取180幅奶牛夜间低质量图像进行试验,并从主客观两方面评价增强效果。结果显示:相比MSRCR算法,提出算法增强后图像的亮度、对比度明显提升,噪声明显减少,边缘细节更完整,颜色更自然;平均梯度、标准差、信息熵、边缘保持指数、结构相似性和峰值信噪比分别平均提高24.21%、15.92%、2.67%、51.41%、5.09%和20.05%。表明提出算法能够有效提高奶牛夜间图像质量,为奶牛夜间爬跨识别模型训练的数据集图像增强预处理提供方案。(2)针对奶牛夜间爬跨行为,提出一种基于改进YOLO v5s网络模型的行为识别算法。在YOLO v5s模型网络的基础上,在C3模块引入CBAM注意力机制,从空间和通道两个维度经过自适应调整达到奶牛爬跨目标特征增强的效果;采用深度可分离卷积替换CBS模块提高网络检测精度,减小模型运算量。模型训练试验结果表明,改进的夜间奶牛爬跨行为识别神经网络准确率达95.40%,召回率为93.60%,平均精度值为92.90%,识别速度为81 FPS,浮点运算量仅为14.90 GFLOPs。各指标值相比YOLO v5s、Faster-RCNN、YOLO v7均很高,因此改进YOLO v5s的网络模型更适合奶牛夜间爬跨行为的识别,为奶牛夜间爬跨预警系统软件提供重要的行为识别算法。(3)针对奶牛夜间爬跨预警系统的开发,从软、硬件两方面进行整体设计。系统主要由嵌入式处理、视频解码、电源、接口和GPRS数据传输等模块以及监控中心组成。摄像头采集的视频数据首先由嵌入式处理模块进行处理,识别到爬跨行为就对这张图像和相关日志信息压缩、打包;然后借助GPRS数据传输模块传送至移动公司;最后通过互联网传至监控中心,数据包在此进行转码、解压。监控中心的工作人员查看爬跨图像和日志信息,实现了奶牛夜间爬跨行为的预警。最终通过试验验证所设计的奶牛夜间爬跨预警系统识别预警准确率达到85.93%,召回率为91.60%,平均精度均值是83.63%,推理运行速度为76.00帧/s,系统模型的浮点运算量为15.90 GFLOPs、参数量是8.00 M,系统误报率为8.00%;表明所设计的系统具有良好的奶牛夜间爬跨识别预警性能。综上所述,本研究完成了奶牛夜间爬跨预警系统从软件算法到硬件集成的开发,为利用爬跨行为鉴定奶牛发情提供了重要的技术手段,使奶牛及时受精怀孕,缩短繁殖周期,最终实现提高奶牛养殖经济效益的目的。
基于机器视觉的橙果定位采摘方法与试验
这是一篇关于橙果,识别,定位,机器视觉,采摘执行器,深度相机的论文, 主要内容为橙果是我国重要的经济作物之一,常栽种于丘陵山地,采摘所需劳动量极大,实现橙果的机械化、智能化采摘迫在眉睫。针对生长环境复杂、光线变化、枝叶遮挡等因素对橙果采摘执行器作业的干扰,本文对橙果定位与采摘方法进行了研究并完成了试验验证,为后续装备研发和果蔬采摘机器人的研制提供理论和技术参考。本文主要工作如下:(1)橙果采摘装置视觉系统的构建与调试:针对果实三维定位需求,本文选择了双目结构光深度相机Real Sense d435i构建视觉系统,采用眼固定方式安装相机;基于图像处理算法结合深度相机,完成了果实的三维定位;标定了相机内外参,完成了果实三维坐标的坐标系转换;基于路径最短原则,确定了果实的最佳采摘顺序;使用Py Qt软件设计了人机交互界面,提升了操作的效率及方便性;(2)橙果识别算法的对比、选择和优化:分别使用基于形态学的图像处理算法、3D点云处理算法和深度学习模型3种方法进行果实识别。基于形态学的图像处理算法中,基于色差法结合大津法(Otsu)对果实进行分割提取,对分割后的果实进行轮廓检测,获取果实质心坐标;针对重叠果实,采用分水岭结合形态学的处理算法实现重叠连通域的分割,再进行轮廓检测。3D点云处理算法中,采用基于色彩的阈值分割方法分离果实、去除背景,采用基于欧式距离的聚类方法结合随机抽样一致性算法对多个果实进行分类并拟合,获取果实质心位置及半径。深度学习模型中,选用YOLOv4模型,使用Mobile Net v2模块代替CSPDarknet网络作为主干网络,使用深度可分离卷积代替部分标准卷积,实现模型的轻量化。改进模型的识别准确率、召回率、调和均值F1、平均精度分别为97.57%、92.27%、94.85%、97.24%,模型大小为46.5 M。比较了3种识别算法的效果:在同一测试集中,对上述3种识别算法进行验证。结果表明:形态学图像处理算法、3D点云处理算法和改进YOLOv4算法的识别成功率分别为79.49%、74.36%和98.72%。改进YOLOv4模型的识别成功率较其他两种算法大幅提升,在复杂的自然环境中具有较强的鲁棒性。(3)橙果定位算法的设计与验证:设计了基于深度相机结合改进YOLOv4模型的橙果定位方法。该方法将果实定位过程分解为二维定位及深度获取两个步骤。采集果实的彩色图及深度图,经数据对齐后,基于改进YOLOv4模型完成果实质心的二维坐标获取,记录该点位置,将其映射到深度相机获取的深度图中以获取该点的深度值,并对果实半径进行求解。利用测试集对上述定位算法进行验证,结果表明:识别成功率达98.72%,三维定位成功率达96.15%。深度信息获取过程中,平均绝对误差MAE为3.48 cm,平均绝对百分比误差MAPE为2.72%。(4)采摘执行器硬件及控制系统的搭建与测试:以直角坐标机械臂作为采摘执行机构、三爪型柔性自适应机械爪为采摘末端执行器搭建硬件系统;以笔记本电脑作为上位机,以STM32作为主控制器构建控制系统。视觉系统实现果实的三维定位后,通过STM32的定时器输出固定数量脉冲控制各根轴上的步进电机转动固定圈数,实现目标果实的接近。基于RS485原理控制机械爪开闭,完成果实的抓取与松放。(5)定位精度试验及采摘试验的设计与实现:在室内条件下对所提视觉引导方法的定位精度进行验证,结果表明:X、Y、Z方向上的平均绝对误差分别为:5.85 mm、6.76 mm、8.59 mm,误差在末端执行器容错范围内,符合实际采摘时的定位精度要求。在室内室外条件下分别进行了采摘试验:室内条件下本文所提算法的采摘成功率达87.29%。考虑机械臂有效行程及室外光照造成的深度信息获取失败问题,在室外条件下设置果实采摘范围,对处于采摘范围内的果实进行采摘,结果表明室外条件下采摘成功率达79.81%,平均单果采摘时间为8.9 s。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计货栈 ，原文地址：https://m.bishedaima.com/lunwen/50192.html
