基于深度学习的三维手势估计关键技术研究
这是一篇关于计算机视觉,三维手势估计,图像特征提取,多视角数据集,图像畸变校正的论文, 主要内容为近年来,虚拟现实技术的快速发展对人机交互技术提出了新的要求。传统机械式的人机交互方式已经不能满足虚拟世界场景中高自由度的交互需求。基于肢体动作、面部表情、自然语言等高级人机交互方式成为了新一轮的研究热点。其中,三维手势估计作为手势人机交互中的重要一环,能够帮助计算机准确捕捉人手与物体、环境及设备在三维空间中的位置关系,对计算机理解场景并作出反馈具有重要意义。深度学习技术在计算机视觉领域的突破性进展,极大地推动了视觉三维手势估计的相关研究。其中,早期的三维手势估计方法利用了深度图中的手部深度信息,在受限场景中能够较为准确地还原手部关键点的三维坐标。为了摆脱深度图对应用场景的限制,基于彩色图像的三维手势估计方法通过设计复杂的神经网络充分提取手部特征,在大量带标注数据的训练下学习直接回归三维手势,极大地提高了手势估计的应用便捷性。另一方面,基于双目图像的三维手势估计通过训练简单的神经网络预测双目图像中的二维手势,并利用双目立体成像原理求解对应的三维手势,缓解了仅使用单张二维手部图像所存在的尺度不确定性问题,提升了三维手势估计应用的稳定性。但由于要同时处理双目图像,此类方法往往运行速度较慢,较难满足实时应用的需求。除此之外,现有的手势估计方法主要针对的是常规图像,对于广角镜头成像的含畸变的手部图像的手势估计研究还相对较少。而广角镜头所具有的视场范围大、成像距离短等特点使其广泛应用于微小型成像系统,如用于虚拟现实、增强现实可穿戴设备中的鱼眼镜头,就是一种典型的广角镜头。本文在充分调研现有三维手势估计方法的基础上,对上述关键问题展开深入研究。为此,本文的工作主要有:1)本文结合了深度学习在图像特征提取方面的最新进展,优化了手势估计网络的模块化设计,提出了一个基于全卷积结构的三维手势估计网络U-Hand Net,在提升了手势估计准确性的同时简化了网络结构设计,能够较好地满足不同计算资源场景下的性能平衡。2)本文分析了畸变图像的成像原理,并在此基础上结合手势估计任务的特点,提出了一种高效的手势估计畸变校正方案,在几乎不增加整体耗时的情况下使得常规手势估计方法兼容畸变的输入图像,并构建了一个大型的含畸变图像的多视角三维手势估计数据集,充分验证了本文所提的基于畸变图像的手势估计实现方案,极大地拓宽了手势估计的应用前景。3)在上述工作的基础上,本文构建了一个实时的三维手势估计系统,实现了单目及双目场景下的兼容畸变的三维手势估计方案。本文在最后部分对三维手势估计领域的研究进行了总结与展望,讨论了该技术的应用前景以及在实际应用中可能存在的问题。
基于深度特征提取的大规模图像的实例检索
这是一篇关于计算机视觉,实例检索,图像特征提取,图像特征编码的论文, 主要内容为随着近几年来时尚行业的迅速发展,服装商品交易已经占据各个电商平台的很大一部分贸易份额。为了挖掘潜在用户并为其提供更方便快捷的购买体验,精准的商品推荐,大规模服装检索等成为促进这一体验的重要途径之一。得益于近几年来计算机视觉,尤其是深度学习的快速发展,服装实例检索任务的实际应用变得可行。这不仅能让人们的生活更加智能化,还能使服装贸易行为过程更加高效,为服装经济发展带来更好得发展。对顾客和商家各有裨益。近年来图像实例检索问题上不断有新的突破发生。由于实际应用场景的复杂性传统的SIFT算法一直无法取得较高的实用性。采用深度卷积神经网络(CNN)的算法拥有更强的特征提取能力,进而也具有更强的鲁棒性。同时还可以拓展更多的功能,如精准定位等。本文主要阐述了如何以Faster-RCNN目标检测网络为基础框架,结合三元组损失等建立对编码优化的目标,搭建图像实例检索模型。对获得的FashionAI公开数据集对模型进行训练,使得模型的卷积层对服装图片更具有特征提取能力,同时网络也具备了服装目标检测的能力。根据检测到的服装目标坐标对特征图进行RoIAlign操作,取得区域特征图,再采用全局最大值池化(global max pooling)对其进行编码提取。在训练整个网络时,同时训练多任务。本文提出使用三元组损失、编码信息熵损失去优化编码结果,进而调整所有共享特征提取层参数,进一步提高了网络的检索性能。最后使用局部敏感哈希(LSH)算法优化大规模数据库下的检索速度,取得了较好的检索效果。
面向飞拍的机器人视控一体化关键技术研究
这是一篇关于机器人飞拍,视控一体,遗传算法,卡尔曼滤波,图像特征提取的论文, 主要内容为具备高效、高准确度和智能环境感知等优点的工业机器人在先进制造业中被广泛应用到抓取、装配和贴装等领域,其中的基于视觉的飞拍定位技术是一个重要的研究方向。本文充分分析了视觉技术以及飞拍技术的国内外发展现状,针对传统机器人飞拍系统存在视-控分离,导致系统实时性和效率不高且硬件系统复杂的问题,提出视-控一体的设计方案,并对机器人标定技术及机器人飞拍的相关算法展开研究。本课题的主要研究内容如下:(1)视控一体化系统。分析了几种常用的视觉系统方案,确定了视控一体化系统的搭建方案。操作系统采用基于Windows的硬实时系统,机器人控制模块和视觉模块在同一操作系统通过共享内存的方式实现数据交互。并分别对视觉模块和控制模块进行实时性和精度分析,控制模块采用基于CONDESYS RTE的软控制器方案,通过ETHERCAT控制伺服驱动器,提高实时性和可拓展性;视觉模块采用高精度时钟提高实时性。(2)机器人本体几何参数标定。建立了自研的四轴水平关节机器人运动学参数模型,并分析确定了影响其定位精度主要的几何参数。建立了几何参数误差标定模型,设计了基于图像位置的自适应算法求取模型的输入。对遗传算法进行了优化,加强了迭代前期的搜索能力和迭代后期的收敛能力,降低了提前收敛和局部最优的概率,通过改进的遗传算法求取运动学误差参数模型。通过实验验证了经过基于改进的遗传算法的机器人运动学参数辨识后,机器人的位移精度大大提高。并进行了相机标定、自动九点标定和工具坐标系标定的相关实验。(3)卡尔曼滤波结合深度学习的飞拍方法。基于改进型卡尔曼滤波算法,提出一种无传感器的精准时间触发算法,减小相机触发时机器人在同一位置的重复度误差;基于ResNet50网络实现目标检测和分类,并提出一种依附于目标检测位置的区域分割方法,提高图像的处理速度,保证在机器人下一节拍前完成纠偏值的计算。并且对比了常用的图像预处理和特征提取的方法,确定了精准的特征提取方案。与传统的模板匹配等方法进行了对比试验,验证了本课题方法在图像处理时间和处理精度上的优势。(4)飞拍视控系统的模块化设计及飞拍实验。对基于CODESYS的控制系统进行了模块化设计,并基于QT实现视觉软件的设计,通过共享内存实现视控交互,搭建视控一体化平台。设计了快速的飞拍纠偏算法,确定了飞拍实验的流程。基于贴装芯片的飞拍实验,对机器人参数辨识的有效性进行了验证,对比了不同速度下的飞拍定位误差。通过与定拍进行对比,验证了飞拍的高效性。各个实验表明:本课题设计的机器人飞拍纠偏系统具有简捷易用、精度和效率高等优势。
基于深度特征提取的大规模图像的实例检索
这是一篇关于计算机视觉,实例检索,图像特征提取,图像特征编码的论文, 主要内容为随着近几年来时尚行业的迅速发展,服装商品交易已经占据各个电商平台的很大一部分贸易份额。为了挖掘潜在用户并为其提供更方便快捷的购买体验,精准的商品推荐,大规模服装检索等成为促进这一体验的重要途径之一。得益于近几年来计算机视觉,尤其是深度学习的快速发展,服装实例检索任务的实际应用变得可行。这不仅能让人们的生活更加智能化,还能使服装贸易行为过程更加高效,为服装经济发展带来更好得发展。对顾客和商家各有裨益。近年来图像实例检索问题上不断有新的突破发生。由于实际应用场景的复杂性传统的SIFT算法一直无法取得较高的实用性。采用深度卷积神经网络(CNN)的算法拥有更强的特征提取能力,进而也具有更强的鲁棒性。同时还可以拓展更多的功能,如精准定位等。本文主要阐述了如何以Faster-RCNN目标检测网络为基础框架,结合三元组损失等建立对编码优化的目标,搭建图像实例检索模型。对获得的FashionAI公开数据集对模型进行训练,使得模型的卷积层对服装图片更具有特征提取能力,同时网络也具备了服装目标检测的能力。根据检测到的服装目标坐标对特征图进行RoIAlign操作,取得区域特征图,再采用全局最大值池化(global max pooling)对其进行编码提取。在训练整个网络时,同时训练多任务。本文提出使用三元组损失、编码信息熵损失去优化编码结果,进而调整所有共享特征提取层参数,进一步提高了网络的检索性能。最后使用局部敏感哈希(LSH)算法优化大规模数据库下的检索速度,取得了较好的检索效果。
基于深度学习的烟用胶囊外观缺陷检测技术研究
这是一篇关于烟用胶囊,图像特征提取,缺陷检测,卷积神经网络,深度学习的论文, 主要内容为烟用胶囊是烟草行业中为卷烟提供各种香味的胶质球体。对烟用胶囊进行质量把控是卷烟生产中的重要环节;随着“智能制造”时代的来临,如何实现工业智能化是重要的研究课题。烟用胶囊在生产过程中容易产生各种缺陷,这些缺陷会降低卷烟产品的质量。目前卷烟制造企业主要采用人工识别缺陷的方法,该方法检测效率低、成本高。采用机器视觉技术能够实现烟用胶囊外观缺陷的高效检测,其中基于传统图像处理的方法存在图像特征表达能力弱、缺陷适应性差等缺点。为了提高烟用胶囊外观缺陷检测的鲁棒性与自动化水平,本文研究了基于深度学习的烟用胶囊外观缺陷检测技术,主要工作如下:(1)根据实际工业中烟用胶囊外观缺陷检测的需求,设计并搭建了烟用胶囊外观缺陷检测系统。具体包括供料传输、光源、图像采集、图像识别、产品处理等模块的设计与关键设备选型。然后,基于该检测系统构建了烟用胶囊图像数据集,并对数据进行了预处理。(2)针对传统图像特征表达能力弱、模型优化困难等问题,提出了一种基于多特征融合的一维残差网络(1DResNetmix)算法。首先提取了图像的外形、纹理、颜色等多种特征并融合成全局特征向量。特别地,提出了边缘方向直方图(Histogram of Edge Directions,HED)来描绘图像纹理特征。随后,设计了用于特征分类的一维深度残差网络。实验结果表明,HED特征能够准确高效地描绘图像的缺陷信息;1D ResNetmix不仅可以有效地识别缺陷,而且具备复杂性低、参数量少的优点,能够在有限的数据和硬件资源下快速地训练与迁移。(3)针对人工图像特征的局限性、缺陷样本不均衡且标注繁琐、有监督方法场景适用性差等问题,提出了一种基于CMA-Net的烟用胶囊外观缺陷检测算法。首先,该算法通过正样本与CutPaste增强样本之间的代理分类任务来学习图像的自监督表示,其次本文设计了多尺度注意力网络来提升模型对不同尺度缺陷的关注与学习能力。实验结果表明,多尺度注意力能够提升模型对缺陷的识别能力;对比当前先进的自监督学习算法,CMA-Net在烟用胶囊外观缺陷检测中具有更高的准确率与鲁棒性。本文研究了深度学习在烟用胶囊外观缺陷检测中的应用,改进了传统图像处理方法在缺陷检测中的局限性,设计了一种烟用胶囊外观缺陷检测系统,提出了两种具备实际工业应用价值的方法。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://m.bishedaima.com/lunwen/54593.html
