基于机器视觉的工件识别与定位系统研究
这是一篇关于机器视觉,识别,定位,机器人的论文, 主要内容为随着我国工业进程的进一步深化,产品生产的批量越来越大,产品生产中工艺要求也越来越精细。传统制造企业中,产品生产中的相关检测常采用人工操作或半自动化机械式操作。人工操作存在误差大、工作强度高以及成本高等问题,而使用半自动化机械操作只能单一的执行,灵活性差,无法达到自动化生产中快速、高效、智能化的要求。本文从工业生产具体应用出发,设计了一套基于机器视觉的工件识别定位检测系统,围绕该系统主要完成以下工作:(1)机器视觉系统的整体标定。建立相机视觉模型,通过Matlab标定相机,获取相机内外参数并得出其投影误差。根据实际情况,相机与机器人之间采用眼到手模型,并优化该模型的手眼标定方法,快速获取机器人坐标与相机坐标的转换矩阵。通过相机标定与手眼标定得出的参数为之后的定位打下基础。(2)图像预处理与轮廓提取。首先,结合检测工件的特性,设计了合理的图像预处理方案,通过SSIM和PSNR指标分析衡量三种滤波效果,最终选择效果较好的双边滤波。对比分析常用的分割法效果,实验表明OTSU分割法效果更优。然后,针对OTSU分割算法存在效率低和抵抗性能差问题,本文提出了改进OTSU图像分割算法。使用滤波前后的差分图像作为OTSU算法的输入,在OTSU算法中引入本文改进后的海鸥算法。通过实验表面,改进后的OTSU算法能够通清晰的提取出本文研究内容的商标轮廓信息。最后,通过形态学处理分割的图像,去除多余孤立的点并消除毛刺和孔洞。(3)针对Hu矩匹配在复杂工况下难以选取合适阈值实现精确匹配识别、SIFT特征匹配在复杂工况下存在特征点误匹配问题以及耗时较多问题,本文提出了基于全局Hu匹配和局部SIFT匹配融合的Hu-SIFT快速匹配方法,并针对融合后的Hu-SIFT算法存在的问题,提出了改进后的Hu-SIFT算法,提升匹配精度,降低了运算时间,满足了实时检测的需求。对工件检测中定位需求,提出了主轴旋转法降低了最小外接矩形的时间复杂度,并利用基于辅助模板与最小外接矩形结合的定位方法。(4)设计了产品检测定位系统。具体分析了软件主要功能,基于VS2019开发环境、MFC Windows平台应用程序开发框架以及Open CV开源图形处理库,编制了一套产品视觉检测软件系统。完成了硬件的设计、安装和调试。视觉系统计算出定位数据传输给与4轴机器人实现精确定位。本系统实现了产品在线检测、工艺定位的智能化,提高了协作厂家工业生产的自动化水平。本课题设计系统已应用于亳州福达印务有限公司生产线中,取得了很好的使用效果和经济效益。
基于深度估计网络的视觉SLAM算法研究
这是一篇关于机器人,视觉SLAM,深度估计,点云匹配,特征提取的论文, 主要内容为近年来随着人工智能技术的发展,移动机器人在社会各行各业得到了广泛的应用,如交通、医疗、家庭、教育等领域。同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)技术是移动机器人的关键技术。在视觉SLAM技术的研究中,单目相机传感器成本低、易用性强,利用单目相机实现SLAM算法的研究受到了广泛的关注。虽然视觉SLAM取得了显著的成就,但是依然存在很多挑战。如当机器人在运动过程中相机丢失的情况,如何实现高效又准确的定位问题是本文的研究重点。针对这样的问题本文的研究思路如下:首先,通过使用单目相机拍摄一张图片,利用设计的深度估计网络预测图像中每一个像素点的深度信息,进而构建局部点云;然后将该局部点云与构建的稀疏点云进行匹配;最后通过匹配的结果来确定当前的位置。在研究的过程中主要涉及两大核心问题:单目图像深度估计问题以及点云匹配问题。本文针对目前单目图像在深度估计中依然存在边缘以及深度最大区域预测不准确性的问题,提出一种基于金字塔分割注意力网络的单目深度估计方法(PS-Net)。首先,PS-Net以边界引导和场景聚合网络为基础,引入金字塔分割注意力模块(PSA),处理多尺度特征的空间信息,提取出深度梯度变化剧烈的边界和深度最大的区域;然后,使用Mish函数作为解码器中的激活函数,进一步提升网络的性能;最后,在NYUD v2和i Bims-1数据集上进行训练评估。i Bims-1数据集上的实验结果显示该网络在衡量定向深度误差方面与边界引导和场景聚合网络(BS-Net)相比提高了1.42个百分点,正确预测深度像素的比例达到81.69%。实验结果证明本网络在深度预测上具有较高的准确性。针对目前点云匹配中由于传感器的运动或者采集点云的角度问题,造成提取的点特征不具有旋转不变性和较好的表征性的问题,本文提出一种基于强表征能力的特征描述子的点云匹配算法。该算法引入空间点变换策略将三维曲面转换成圆柱体来消除X,Y,Z轴上的旋转自由度;然后使用神经层特征提取模块来学习圆柱形体素内点的特征,此时提取到的特征具有很好的鲁棒性和旋转不变性;最后通过在3DMatch数据集上进行实验,召回率达到92.1%,验证了本文算法在点云匹配中具有很好的效果。通过以上两个主要的研究任务则可以确定迷失环境中机器人所处的位置,从而实现视觉SLAM中的定位问题。
基于深度估计网络的视觉SLAM算法研究
这是一篇关于机器人,视觉SLAM,深度估计,点云匹配,特征提取的论文, 主要内容为近年来随着人工智能技术的发展,移动机器人在社会各行各业得到了广泛的应用,如交通、医疗、家庭、教育等领域。同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)技术是移动机器人的关键技术。在视觉SLAM技术的研究中,单目相机传感器成本低、易用性强,利用单目相机实现SLAM算法的研究受到了广泛的关注。虽然视觉SLAM取得了显著的成就,但是依然存在很多挑战。如当机器人在运动过程中相机丢失的情况,如何实现高效又准确的定位问题是本文的研究重点。针对这样的问题本文的研究思路如下:首先,通过使用单目相机拍摄一张图片,利用设计的深度估计网络预测图像中每一个像素点的深度信息,进而构建局部点云;然后将该局部点云与构建的稀疏点云进行匹配;最后通过匹配的结果来确定当前的位置。在研究的过程中主要涉及两大核心问题:单目图像深度估计问题以及点云匹配问题。本文针对目前单目图像在深度估计中依然存在边缘以及深度最大区域预测不准确性的问题,提出一种基于金字塔分割注意力网络的单目深度估计方法(PS-Net)。首先,PS-Net以边界引导和场景聚合网络为基础,引入金字塔分割注意力模块(PSA),处理多尺度特征的空间信息,提取出深度梯度变化剧烈的边界和深度最大的区域;然后,使用Mish函数作为解码器中的激活函数,进一步提升网络的性能;最后,在NYUD v2和i Bims-1数据集上进行训练评估。i Bims-1数据集上的实验结果显示该网络在衡量定向深度误差方面与边界引导和场景聚合网络(BS-Net)相比提高了1.42个百分点,正确预测深度像素的比例达到81.69%。实验结果证明本网络在深度预测上具有较高的准确性。针对目前点云匹配中由于传感器的运动或者采集点云的角度问题,造成提取的点特征不具有旋转不变性和较好的表征性的问题,本文提出一种基于强表征能力的特征描述子的点云匹配算法。该算法引入空间点变换策略将三维曲面转换成圆柱体来消除X,Y,Z轴上的旋转自由度;然后使用神经层特征提取模块来学习圆柱形体素内点的特征,此时提取到的特征具有很好的鲁棒性和旋转不变性;最后通过在3DMatch数据集上进行实验,召回率达到92.1%,验证了本文算法在点云匹配中具有很好的效果。通过以上两个主要的研究任务则可以确定迷失环境中机器人所处的位置,从而实现视觉SLAM中的定位问题。
智能人像摄影中的行人跟踪系统设计与实现
这是一篇关于智能人像摄影,目标跟踪,孪生网络,机器人的论文, 主要内容为智能人像摄影是未来摄影生态中重要组成部分,其通过自动捕捉、识别和跟踪人体来改善传统摄影对用户技能的高要求。在这项技术中,目标跟踪是核心算法,它预测给定目标对象,在后续帧中的位置、尺度和存在性。随后,智能摄影设备根据目标跟踪算法的结果,控制机器跟踪人体运动或旋转。智能摄影设备的机载低功耗平台的存储及计算能力有限,最先进的目标跟踪算法难以在实际工程中应用。本文以此为出发点,设计一个在精度与速度上满足智能摄影需求的长时目标跟踪算法,并构造行人跟踪系统,部署到移动摄影机器人上。本文的主要工作如下:针对现有的长时目标跟踪算法无法在低功耗平台上达到实时与精度的平衡,本文基于局部-全局搜索的高效长时跟踪框架(Effective Local and Global Search for Fast Long-Term Tracking,ELGLT),设计了长时轻量级孪生跟踪网络(Long-Term Lightweight Siamese Network,LT-LightSiam)。1)在局部跟踪部分LightSiam中,一为了进一步减少模型的复杂性和计算量,使用专门针对移动端优化的FBNet(Facebook Network)作为特征提取网络。二对于现有的轻量级的长时跟踪算法不能很好地处理目标发生形变和经历遮挡的情况,针对跟踪结果框通常漂移到背景物或目标自身的局部区域的问题,本课题在设计模版和搜索区域的特征融合时,一方面引入像素级互相关作为特征融合保留更多局部信息,另一方面通过结合搜索图像特征和相关特征图来增强特征表示性,进而提高跟踪精度。2)接着,本课题结合两类验证策略的优势来重构ELGLT框架的目标状态判断策略,获得双重验证,有效提升判断目标的状态。3)最后,为了验证LT-LightSiam的性能,本文在长时跟踪数据集VOT2018-LT/VOT2021-LT上开展了实验,实验证明本文的方法相比于基准具有较大提升。本课题在移动摄影机器人上部署上述跟踪算法,并设计和实现了目标检测、目标跟踪、运动控制功能,在真实场景下完成系统的测试。
基于激光雷达与相机融合的实时动态多目标检测
这是一篇关于机器人,相机,激光雷达,多传感器融合,目标检测的论文, 主要内容为社会发展使得人力资源短缺问题加剧,人们倾向于使用配备视觉传感器的移动机器人以提高生产效率。目前,由于腿足机器人行走时晃动的运动特性,且动态目标的速度或加速度的变化,致使机器人动态目标检测速度不佳、精度不足、被遮挡目标和小尺度目标漏检率高。针对这些问题,本文基于激光雷达与相机传感器融合的方法来识别目标并预测碰撞时间,克服了单一传感器目标检测的缺陷,在保证实时性的前提下,提高了机器人目标识别、定位及碰撞预测的精度。主要研究内容如下:(1)对于激光雷达,主要通过软体素化代替硬体素化来改进Voxel Net模型进行目标检测,检测过程首先基于坡度的地面提取算法来滤除地面,然后使用随机采样一致性算法对点云聚类,最后基于主成分分析拟合矩形框边界框。试验结果表明改进的Voxel Net模型有效缓解了硬体素化带来的性能抖动,相较原先的模型检测速度快、精度高约3%,但是比起用相机检测的精度还差很多。(2)对于相机目标检测,分析相机成像原理及几个坐标系之间的转换对相机进行内参标定,并通过YOLOv3模型进行检测目标边界框及置信度,并提取与匹配图像的特征点来预测碰撞时间,实验表明用相机来检测目标边界框还是很可靠的,其检测速度和精度都很高,但是检测位置的精度不高以致预测的碰撞时间不准确。(3)对于激光雷达和相机融合识别目标,首先图像数据通过YOLO检测边界框,随后将基于标定板关键点的联合标定算法改进为3D-3D的联合标定算法,得出误差更小的激光雷达到相机的转换矩阵,再通过ROS进行时间同步,将点云实时投影到图像,基于视场(FOV)划分技术优化基于密度的噪声应用空间聚类算法(DBSCAN)来聚类点云,以得到更准确的边界框,最终融合相机检测的边界框和激光雷达检测的边界框并预测碰撞时间。实验结果发现融合检测比仅使用激光雷达或相机传感器检测具有更高的精度,并且FPS值也能达到实时检测的要求。对于配有实时识别系统机器人,通过本文的程序就可以使真实机器人更好的实时检测静态动态目标,预测碰撞时间并躲避障碍物。实验验证表明了本文所提算法的有效性和可靠性。
基于PECS的自闭症儿童交互式干预机器人的设计研究
这是一篇关于自闭症谱系障碍,图片交换沟通系统,机器人,交互设计的论文, 主要内容为自闭症谱系障碍(Autism Spectrum Disorder,ASD,以下简称自闭症)是以社交障碍为核心症状的发展性障碍。自闭症儿童的社交障碍,尤其是沟通行为的缺失,让自闭症儿童难以与人建立沟通,并使他们无法适应社会生活。因此,如何提升自闭症儿童的沟通行为,一直是自闭症康复教育领域关注的重点。目前,图片交换沟通系统理论(The Picture Exchange Communication System,简称PECS)对改善自闭症儿童的沟通行为有着良好的干预效果。但是图片交换沟通系统仍存在强化物单一、鼓励方式单调等局限。随着科技发展,研究者们发现利用机器人干预治疗自闭症患者取得了良好的效果。但目前利用机器人进行自闭症干预研究中所采用的机器人并没有经过科学调研,形成相应的设计策略,在技术与需求之间存在断层,不能保证是适合自闭症儿童的。此外,机器人在大多数研究中扮演的角色仅仅只是真人治疗师的辅助工具,并不在干预中起主导作用。而图片交换沟通系统交互较为简单,十分适用于功能有限的干预机器人,同时机器人又能弥补PECS强化物单一,自闭症儿童难以接受真人干预的局限。因此,本研究将图片交换沟通系统与机器人技术结合起来,以图片交换沟通系统为基础,从外观以及人机交互两个方面,设计一款适合自闭症儿童的干预机器人,让机器人指导自闭症儿童完成图片交换沟通系统的干预治疗,并检验其对自闭症儿童社交表现提升的效果。围绕这一主题,将本研究分为三个部分。第一部分采用访谈的研究方法,对有多年经验的自闭症临床医生和治疗师进行调研,获取人机交互及外观设计策略。根据得出的设计策略出具多种方案草图,经过医生、治疗师和自闭症儿童评估,确定最终的平面设计方案。第二部分采用建模,3D打印及编程的方法,依托现有的商业机器人机械结构和开发平台,将机器人制造出来,并在开发平台上写好人机交互程序。机器人改进设计及制造完成后,进入第三部分——干预效果验证阶段。本阶段需要在合作的自闭症康复机构中选定符合干预条件的自闭症儿童,采用单一被试实验法将被试分为实验组和对照组,实验组采用机器人干预,对照组采用真人干预。在经历基线期、干预期两个阶段的干预后,对比对两组被试沟通行为的干预效果。最终,笔者利用本研究所优化设计开发的机器人对实验组和对照组共8名自闭症儿童进行为期四个半月,每人12次的干预后,最终效果分析显示:实验组4名被试的沟通行为得到较大提升。而采用真人干预的4名对照组被试在干预后,被试沟通行为提升较小,效果不明显。因此,从一定程度上表明,采用机器人实行PECS干预比能够取得比真人更好的效果。本研究通过完整的设计流程,从总体上系统探究了如何基于图片交换沟通系统进行自闭症干预机器人的人机交互及外观的优化设计及制造。同时基于科学的用户调研,从宏观上得出了适用于机器人进行PECS干预的设计策略,用设计填补了技术与需求之间的断层。本研究一方面扩充了设计学的研究范围,另一方面也丰富了PECS和机器人干预治疗自闭症儿童沟通行为的相关研究。
温室大棚机器人监控系统设计
这是一篇关于温室大棚,监控系统,机器人,NB-IoT,MQTT,管理系统的论文, 主要内容为随着智慧农业、农业4.0等概念的发展,利用现代通信、计算机和机器人等新兴技术促进传统农业朝向设施农业领域迈进,即在可控的现场环境内,运用工程技术手段,以提升生产效率的现代化生产方式。农业生产环境可控是当前农业技术变革的基石,因此对农业现场各项环境变量、设施设备运行状态和生产过程加以监控是当下重要的研究方向之一。温室大棚作为设施农业核心领域之一,其传统人工监控费时费力且调节滞后,而新兴无线传感网络监控组网技术复杂且成本过高。针对上述问题并结合项目背景,课题开展基于机器人的温室大棚监控系统研究。课题所研究的温室大棚机器人监控系统采用搭载农业传感器及无线通信单元的移动机器人平台,完成温室大棚监控数据的采集与传输,并提供通过浏览器Web页面进行的远程监控。机器人平台基于改进A*+DWA算法得到的路径于温室大棚内完成数据采集,通过目前国内正在快速推广的NB-Io T技术完成中远距离数据传输,同时现场的近距离无线通信采用低功耗的BLE技术实现。监控数据采用物联网MQTT协议传输,该协议解析及用于监控的管理系统基于阿里云平台进行搭建,其一站式搭建、部署和运维的服务,极大的降低农业监控系统软件开发成本。课题主要研究内容如下:(1)对机器人平台、无线通信和后台管理系统的关键技术进行介绍。结合课题背景,最终选择轮式机器人平台,其路径规划通过改进A*+DWA算法实现;无线通信单元采用NB-Io T、MQTT和BLE技术;管理系统框架选用B/S、MVC和SSM,配合My SQL、Redis、Tomcat等中间件搭建于阿里云SAS服务器。(2)对课题需求、现场环境和路况进行分析,确定系统总体方案和各模块技术实现方案。机器人平台模块包括搭载传感器选型、行走机构运动学动力学分析、现场数据结构图构建和路径规划研究;无线通信单元包括主控、NB-Io T模块和BLE模块的芯片选型和相关电路设计;后台管理系统在完成SAS服务器及环境搭建基础上,对MQTT协议、系统架构和数据库进行设计与开发。(3)在完成系统所有设计开发后,对平台路径规划、无线通信单元、采样性能、MQTT协议、NB-Io T通信和服务器压力进行测试。在完成各部分性能测试后,在实验室搭建的温室大棚模型中,对温室大棚机器人监控系统方案进行试验分析,验证方案的可行性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工厂 ，原文地址：https://m.bishedaima.com/lunwen/48249.html
