融合结构化道路特征的语义地图构建研究
这是一篇关于无人驾驶,视觉SLAM,深度学习,结构化道路,语义地图的论文, 主要内容为近年来,无人驾驶技术已经成为整个汽车产业的最新发展方向。针对无人驾驶汽车的定位问题,主流的定位方法是采用高精度的差分GPS和激光雷达等传感器,通过与高精地图匹配获取自身位姿。但该传感器组合方案价格昂贵,高精地图点云数据量大,对移动平台的存储和计算要求较高。同时定位与建图(Simultaneous Localization and Mapping,SLAM)是一种根据周围环境信息求解车辆自身位姿的方法,对无人车理解周围环境提出了极高的要求。但当前SLAM系统大多利用点、线等低级几何信息做匹配和建图,忽视了环境中的语义特征。因此,本文针对结构化道路场景建立了基于视觉与IMU的SLAM解决方案,通过语义分割获取环境中稳定、丰富的道路特征语义信息,进而构建融合结构化道路特征的语义地图。分析了相机投影模型、相机畸变模型以及IMU误差模型,对相机和IMU进行了内外参联合标定,为传感器接入SLAM系统提供较为精确的参数保障。对基于深度学习的结构化道路特征语义分割方法进行研究。以Deeplab V3+网络为基础框架,用结构更为简单高效的Mobile Net V2网络替换其主干特征提取网络中原来的Xception网络,提高网络进行语义分割的效率。添加了融合通道域和空间域的注意力机制模块,让神经网络更加专注于图像的关键特征信息。相较于原网络框架,改进的Deeplab V3+网络的MIou值较改进前提高了5.41%,较同样为编码器-解码器结构的U-Net网络提高了8.16%。为了构建融合结构化道路特征的语义地图,采用逆透视变换及颜色阈值筛选策略将语义分割图像转换为鸟瞰图视角下的语义特征点云,利用体素滤波对特征点云进行下采样,剔除点云数据中的离群点和噪声点。建立基于迭代最近点法和正态分布变换法的位姿求解方案,利用位姿求解得到的变换矩阵,构建全局一致的结构化道路特征语义地图。基于Gazebo仿真平台搭建了仿真环境,对结构化道路和无人小车进行了建模,使用汽车行驶过程中常见的四种行驶策略对系统的定位精度和建图效果进行了实验验证。实现结果表明,四种行驶策略下,系统定位的绝对位姿误差均方根值为0.1845m,相对位姿误差均方根值为0.0423m,达到了较高的定位精度水平,并且本系统构建的道路特征语义地图具有较高的准确度。
温室移动机器人视觉导航方法研究
这是一篇关于农业机器人,日光温室,视觉SLAM,路径规划,自主导航的论文, 主要内容为近年来,随着日光温室种植技术的发展,越来越多的农民利用温室技术种植蔬菜水果等经济作物来提高自己的收入。现如今农村劳动力极大减少,自动化作业的需求极为迫切,因此农用载具作为农业生产的重要机械装备,对农业生产效率和质量起着至关重要的作用,实现温室的无人化管理和作业已经成为现代温室发展的必然趋势。本文针对这一现状,设计一款温室移动机器人代替人工作业,实现自主导航与建图的功能。温室移动机器人能够实现自主导航的功能的核心问题是在于建图与定位。本文提出了基于VSLAM的建图与导航关键技术的研究,目的在于提高温室移动机器人的自主作业的精度和鲁棒性。本文主要工作及结果如下:(1)为了解决温室移动机器人的视觉建图与导航问题,采用哪种视觉建图方法极为重要。以往的单目相机无法获取图像的深度信息,双目相机是通过左右眼的距离来获取传感器的深度信息,而深度相机相对于前两者而言是采用物理方法主动获取图像的深度,且建图的算法开销也要小于双目相机建图。针对温室内的光照严重,普通的深度相机无法满足在该环境下的使用,因此选用Intel Real Sense D435深度相机,该款相机可以在光照充足的室外条件下使用。考虑到温室内的复杂地势环境,机器人还要有一定的越野能力,本文采用四轮驱动作为机器人的底盘。同时为了满足视觉建图与导航算法的庞大开销,因此选用Jetson nano作为机器人的控制系统。(2)为了提高温室移动机器人的建图精度,本文提出了VSLAM算法。传统的ORBSLAM3算法无法用于机器人的实际导航以及缺少机器人在特定场景下用于路径规划的八叉树地图。本文所提出的VSLAM算法基于ORB-SLAM3框架,利用深度相机所获取的深度信息,在原有的三大线程上添加稠密建图线程,利用相机成像原理计算出关键帧点云的三维坐标。然后对点云地图拼接时造成的点云数量冗余问题,又提出了双层点云滤波处理,并经过稠密建图回环检测进一步更新关键帧点云位姿,最后将构建出的精准点云地图实时转化为八叉树地图。实验表明结果,稠密点云地图的点云数量减少了12%,地图读取时间提高了4%,绝对轨迹误差和相对位姿均方根误差均有20%左右的降低。(3)最后分别对全局路径规划和局部路径规划进行了研究。基于MATLAB软件平台对比A*算法和Dijkstra算法进行仿真验证并分析路径搜索效率。之后对局部路径规划算法的TEB算法和DWA算法进行仿真,选出一种适合于温室环境下的算法。结合全局路径规划算法和局部路径规划算法,使温室移动机器人能够在全局路径最优的前提下,规避地图中出现的障碍物,最终实现了基于A*全局路径规划算法和DWA局部路径规划算法的组合方案。
视觉SLAM系统中基于深度学习的回环检测算法研究
这是一篇关于视觉SLAM,回环检测,卷积神经网络,特征降维,注意力机制的论文, 主要内容为随着机器人技术的发展和广泛应用,要求机器人能够智能自主感知周围环境和自身位置,为实现更高级别的任务提供位置和环境信息。视觉同步定位与建图(VSLAM)技术是实现机器人自主定位和环境感知的有效手段,成为近年来的研究热点。为了减少系统误差,得到全局一致的建图结果,会在系统中引入回环检测模块。传统的回环检测依靠人工设计的图像特征判断两幅场景图像的相似性,进而判断是否是回环。而近年来,随着深度学习的长足发展,基于卷积神经网络(CNN)的图像特征提取技术被认为优于基于传统人工特征的方法。CNN在解决回环检测的问题上,能够避免传统方法易受光照等环境因素干扰的缺点。本文将利用深度学习的方法对回环检测进行以下研究:首先,针对目前基于CNN预训练模型的回环检测算法中使用PCA降维存在检测精度降低的问题,提出了一种基于KPCA降维的CNN回环检测算法。该方法使用KPCA对经由CNN预训练模型提取到的特征矩阵进行降维,并提出约束验证策略以提高检测精度。在两种CNN模型,VGG16和Res Net34上进行降维方法的对比,实验结果表明KPCA将特征矩阵降维到100维后拥有更高的准确率。在加入约束验证策略后,本文所提出的算法对比传统方法和其他基于深度学习的方法有较大提升,在PR曲线和平均精度上有更好的表现。然后,针对基于深度学习回环检测中使用CNN预训练模型无法充分利用深度学习端到端的优势的问题,提出一种端到端的图像特征提取-聚合回环检测网络。该网络使用Res2Net残差结构和通道注意力机制对Res Net50网络进行改进,作为网络中的特征提取器,结合Net VLAD层对图像特征进行聚合,并使用弱监督三元组排序损失函数训练网络模型。在Pittsburgh250k数据集上的实验表明,所提出的网络对比改进前的Net VLAD和轻量级Mobile Net VLAD在Recall@N的指标下有更好的表现,能够完成回环检测中同一地点的识别任务,并且相较于仅使用CNN预训练模型的方法有较大性能提升。最后,将所提出的Res2Net-SE-Net VLAD网络用于改进基于CNN的DXSLAM系统,实现理论在SLAM系统层面上的应用。本文使用Res2Net-SE-Net VLAD网络替换DXSLAM中的全局特征提取线程,实现对其重定位和回环检测模块的改进。通过采用局部深度特征计算相似度,全局深度特征排除伪关键帧的方式完成回环检测。实验中使用带有回环属性的TUM数据集进行测试,对本文改进系统、DXSLAM系统和ORB-SLAM2系统进行多个角度的对比,实验结果表明改进后的系统在绝对轨迹误差和相对轨迹误差上均有所降低,能够提高DXSLAM系统的定位精度。本文研究内容选自国家自然科学基金项目《卫星信号拒止环境下异构多机器人协同建图与自主定位研究》中VSLAM系统的视觉回环检测关键环节,帮助机器人系统识别曾到达地点,进而优化系统定位与建图结果。
融合结构化道路特征的语义地图构建研究
这是一篇关于无人驾驶,视觉SLAM,深度学习,结构化道路,语义地图的论文, 主要内容为近年来,无人驾驶技术已经成为整个汽车产业的最新发展方向。针对无人驾驶汽车的定位问题,主流的定位方法是采用高精度的差分GPS和激光雷达等传感器,通过与高精地图匹配获取自身位姿。但该传感器组合方案价格昂贵,高精地图点云数据量大,对移动平台的存储和计算要求较高。同时定位与建图(Simultaneous Localization and Mapping,SLAM)是一种根据周围环境信息求解车辆自身位姿的方法,对无人车理解周围环境提出了极高的要求。但当前SLAM系统大多利用点、线等低级几何信息做匹配和建图,忽视了环境中的语义特征。因此,本文针对结构化道路场景建立了基于视觉与IMU的SLAM解决方案,通过语义分割获取环境中稳定、丰富的道路特征语义信息,进而构建融合结构化道路特征的语义地图。分析了相机投影模型、相机畸变模型以及IMU误差模型,对相机和IMU进行了内外参联合标定,为传感器接入SLAM系统提供较为精确的参数保障。对基于深度学习的结构化道路特征语义分割方法进行研究。以Deeplab V3+网络为基础框架,用结构更为简单高效的Mobile Net V2网络替换其主干特征提取网络中原来的Xception网络,提高网络进行语义分割的效率。添加了融合通道域和空间域的注意力机制模块,让神经网络更加专注于图像的关键特征信息。相较于原网络框架,改进的Deeplab V3+网络的MIou值较改进前提高了5.41%,较同样为编码器-解码器结构的U-Net网络提高了8.16%。为了构建融合结构化道路特征的语义地图,采用逆透视变换及颜色阈值筛选策略将语义分割图像转换为鸟瞰图视角下的语义特征点云,利用体素滤波对特征点云进行下采样,剔除点云数据中的离群点和噪声点。建立基于迭代最近点法和正态分布变换法的位姿求解方案,利用位姿求解得到的变换矩阵,构建全局一致的结构化道路特征语义地图。基于Gazebo仿真平台搭建了仿真环境,对结构化道路和无人小车进行了建模,使用汽车行驶过程中常见的四种行驶策略对系统的定位精度和建图效果进行了实验验证。实现结果表明,四种行驶策略下,系统定位的绝对位姿误差均方根值为0.1845m,相对位姿误差均方根值为0.0423m,达到了较高的定位精度水平,并且本系统构建的道路特征语义地图具有较高的准确度。
基于容器技术的云机器人服务平台研究
这是一篇关于云机器人,服务平台,容器技术,弹性调度,视觉SLAM的论文, 主要内容为机器人技术的迅速发展已经给工业、服务、国防等行业带来了长足的进步,创造了极大的社会价值。作为机器人应用的下一重要领域,智能机器人的发展与研究已上升到国家战略层面,引起了世界各国的高度关注。在技术上,机器人仍然存在亟待克服的问题,例如机器人功能单一无法适应多用途场景,以及强大计算能力硬件的成本过高等。本文借助云计算在计算资源与数据共享方面的优势,将机器人与云计算相结合,研究基于容器技术的云机器人服务平台,以云端功能服务的形式构建灵活的机器人系统架构,探索云机器人的实现途径,具有很强的科学价值和现实意义。为了实现机器人计算任务向云端转移这一需求,结合容器技术的技术优势,设计了一套云机器人服务平台架构。在该平台架构中,通过通信中间件、系统管理模块和系统资源模块的协同配合,支撑起平台功能的正常运行。而机器人功能服务被封装到灵活的Docker容器中,改变了复杂计算任务的资源使用方式。为了保证机器人功能服务在高低负载中都具有较好的计算性能,提升服务平台的资源使用效率,本文在资源管理模块加载了容器弹性容量调度算法。该算法考虑了不同机器人服务的运行实际,根据容器的CPU使用率、内存使用率与网络使用率计算平均负载的方法,通过预先设定上下阈值执行容量弹性调度操作。而在执行弹性缩扩容期间,用户将不会感知功能服务容量的动态调度,保证了平台运行的稳定性。针对机器人视觉SLAM属于计算密集型任务的特点,本文结合微服务的构造思想,将其拆分为可在服务平台实现的云端微服务,形成跟踪、局部建图、闭环检测、点云拼接等模块化的功能组成部分,从而实现复杂数据运算的云端卸载;充分利用平台性能,使复杂的算法在低成本机器人上的应用成为可能。在此基础上,通过部署在云端的功能服务测试实验,验证了云服务平台能够有效地将机器人任务卸载至云端,降低了机器人的硬件性能要求。同时,模块化的功能服务形式能够拓展机器人的功能与使用场景,打破传统机器人应用场景单一的限制,有利于提升机器人的智能性。
基于视觉SLAM的云机器人导航研究
这是一篇关于云机器人,视觉SLAM,导航,ROS,人机交互的论文, 主要内容为视觉SLAM(同步定位与构图,Simultaneous Localizationand Mapping)是移动机器人导航领域的热点。机器人在执行SLAM、定位导航等任务时,将面临大量的数据处理和计算任务,对存储和计算资源有较高的需求,与机载硬件的有限资源形成了矛盾。本文借助云计算在计算能力和资源共享方面的优势,将机器人与云计算相结合,研究基于视觉SLAM的导航实现,具有很强的新颖性和较高的科学价值。在室内未知环境的三维地图重构过程中,本文采用了基于ORB特征的视觉SLAM算法,经过传感器信息读取、视觉里程计、后端优化、回环检测、图优化等步骤,实现了室内点云地图的构建,构图精度约0.01m。由于点云地图无法直接用于机器人导航,在通过ORB SLAM完成室内环境的点云地图生成后,通过Octomap转化为导航所能使用的地图。在全局路径规划算法的设计中,本文对基于随机采样的单查询规划算法(快速扩展随机树算法,RRT)进行改进,将基于启发式A*算法中的路径代价函数引入RRT算法中,对随机节点生成函数和步长调整函数进行改进,使得算法可以朝着目标点方向扩展搜索路径。通过仿真实验,证明了本文所提算法的有效性和稳定性。在定位算法方面,通过ORB SLAM的关键帧技术对应的场景回环检测中的词袋匹配,实现了移动机器人在室内环境下的重定位。对于云机器人系统的构建,本文采用了层次化的架构,将其划分为机器人端、云端、用户端等三个层次进行设计。在机器人端,采用Kinect RGB-D传感器,Turtlebot2底盘和低成本的嵌入式主板构建机器人硬件系统。在私有云平台创建的虚拟机实例,构建了云端服务程序,依托机器人操作系统(ROS)和Django Web框架,采用B/S结构实现了云端和机器人端的系统架构及面向用户的Web设计。在用户端,通过Rosbridge协议和JavaScript脚本将机器人的导航、视频流数据、机器人状态等发布到Web浏览器。根据云计算共享的理念,将机器人资源以服务的形式提供给用户,提供更经济友好的人机交互方式。为了验证本文云机器人平台的远程操控、建图和自主导航性能,在典型的实验室环境开展了实验测试,验证了本文云机器人导航的有效性。最后,总结了本文所开展的研究工作,并对未来的研究内容进行了展望。
视觉SLAM系统中基于深度学习的回环检测算法研究
这是一篇关于视觉SLAM,回环检测,卷积神经网络,特征降维,注意力机制的论文, 主要内容为随着机器人技术的发展和广泛应用,要求机器人能够智能自主感知周围环境和自身位置,为实现更高级别的任务提供位置和环境信息。视觉同步定位与建图(VSLAM)技术是实现机器人自主定位和环境感知的有效手段,成为近年来的研究热点。为了减少系统误差,得到全局一致的建图结果,会在系统中引入回环检测模块。传统的回环检测依靠人工设计的图像特征判断两幅场景图像的相似性,进而判断是否是回环。而近年来,随着深度学习的长足发展,基于卷积神经网络(CNN)的图像特征提取技术被认为优于基于传统人工特征的方法。CNN在解决回环检测的问题上,能够避免传统方法易受光照等环境因素干扰的缺点。本文将利用深度学习的方法对回环检测进行以下研究:首先,针对目前基于CNN预训练模型的回环检测算法中使用PCA降维存在检测精度降低的问题,提出了一种基于KPCA降维的CNN回环检测算法。该方法使用KPCA对经由CNN预训练模型提取到的特征矩阵进行降维,并提出约束验证策略以提高检测精度。在两种CNN模型,VGG16和Res Net34上进行降维方法的对比,实验结果表明KPCA将特征矩阵降维到100维后拥有更高的准确率。在加入约束验证策略后,本文所提出的算法对比传统方法和其他基于深度学习的方法有较大提升,在PR曲线和平均精度上有更好的表现。然后,针对基于深度学习回环检测中使用CNN预训练模型无法充分利用深度学习端到端的优势的问题,提出一种端到端的图像特征提取-聚合回环检测网络。该网络使用Res2Net残差结构和通道注意力机制对Res Net50网络进行改进,作为网络中的特征提取器,结合Net VLAD层对图像特征进行聚合,并使用弱监督三元组排序损失函数训练网络模型。在Pittsburgh250k数据集上的实验表明,所提出的网络对比改进前的Net VLAD和轻量级Mobile Net VLAD在Recall@N的指标下有更好的表现,能够完成回环检测中同一地点的识别任务,并且相较于仅使用CNN预训练模型的方法有较大性能提升。最后,将所提出的Res2Net-SE-Net VLAD网络用于改进基于CNN的DXSLAM系统,实现理论在SLAM系统层面上的应用。本文使用Res2Net-SE-Net VLAD网络替换DXSLAM中的全局特征提取线程,实现对其重定位和回环检测模块的改进。通过采用局部深度特征计算相似度,全局深度特征排除伪关键帧的方式完成回环检测。实验中使用带有回环属性的TUM数据集进行测试,对本文改进系统、DXSLAM系统和ORB-SLAM2系统进行多个角度的对比,实验结果表明改进后的系统在绝对轨迹误差和相对轨迹误差上均有所降低,能够提高DXSLAM系统的定位精度。本文研究内容选自国家自然科学基金项目《卫星信号拒止环境下异构多机器人协同建图与自主定位研究》中VSLAM系统的视觉回环检测关键环节,帮助机器人系统识别曾到达地点,进而优化系统定位与建图结果。
面向室内环境的点云重建和配准算法研究
这是一篇关于视觉SLAM,三维重建,特征提取,点云配准,PointNet的论文, 主要内容为点云地图重建和点云配准技术一直是计算机视觉领域的一个重要组成部分,因为其在三维分析和大规模场景重建方面的重大作用而越来越受到研究者的重视,并广泛应用在增强现实、自动驾驶等领域。由于室内场景点云比室外更为复杂,所以,如何精确构建室内点云地图,以及如何更有效地实现点云配准成为了近些年研究的重点。目前,现有的点云地图重建和配准算法在面对初始位姿不佳、点云规模较大及特征复杂的点云时,会出现配准时间过长,误差较大的问题,甚至出现陷入局部最优、配准失败的现象。针对上述问题,开展的具体研究如下:首先,对Kinect相机进行了标定,使用标定完成的相机对室内真实场景进行了点云重建,并通过测量实际物体的真实尺寸,与点云地图中重建尺寸做了对比,分析了误差,实现了较为精确的三维点云地图重建结果。其次,针对传统ICP点云配准方法耗时长,在初始位姿不佳时会出现配准失败的问题,改进了基于特征的粗配准方法。首先对点云进行去噪和平滑处理,再提取SIFT特征点并计算FPFH描述子,使用RANSAC去除误匹配点对后利用特征描述子的独特性进行两幅点云的粗配准,改善了初始位姿并进行精配准操作。使用数据集和室内真实场景点云配准的实验证明,该方法相对于SAC-IA和传统的ICP算法在配准精度和配准耗时上有较大改进。最后,针对在点云特征过于复杂的情况下出现配准误差较大的问题,改进了Point Net算法并进行点云地图的配准。首先使用Point Net++中的集合抽象层作为特征提取层,然后将全局特征与初始模板点云相结合,利用Point Net作为变换预测层,直接获得点云配准所需的旋转矩阵和平移向量,并通过实验比较了不同的采样比例下配准精度和配准时间的区别。在数据集和真实场景的实验中表明,该种方法的配准精度相比于基于传统特征的点云粗配准有较大提升,并在采样比例适中的情况下,对真实场景的复杂点云也有较高的匹配精度。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码导航 ,原文地址:https://m.bishedaima.com/lunwen/48640.html