面向增强现实的视觉手势姿态估计研究
这是一篇关于手势姿态估计,AR设备,深度图像,彩色图像的论文, 主要内容为增强现实(Augmented Reality,AR)技术是一种将真实世界信息和虚拟世界信息紧密集成的新技术,通过屏幕把虚拟世界叠加到现实世界并进行互动。增强现实技术摒弃了传统的鼠标、键盘等输入方法,融合了自然便捷的手势、语音等智能交互方式。其中手势作为人们与真实世界交流的方式之一,凭借其自然灵活、快速便捷的特性,成为增强现实人机交互的首选方式。手势领域中定向交互、姿态估计等相关研究也因具有重大的学术意义和实际应用价值而引起广泛关注。本文针对增强现实场景的实际交互需求,对手势定向交互和手势姿态估计展开研究。手势定向交互是为了解决现有增强现实定向交互存在的算法冗余、流程复杂等问题,研究内容主要包括数据集创建、算法设计和模型应用;手势姿态估计是为了提高增强现实姿态估计的精准度和实时性,本文基于深度图像、彩色图像和RGB-D融合图像展开研究,研究内容主要包括不同模态图像的手势姿态估计算法设计、实验结果验证以及模型的移植。具体任务如下四方面所示:(1)针对现有手势定向交互问题,本文提出了一种轻量化的手势定向交互(Hand Pose Orientation Interaction,HPOI)框架。HPOI框架支持深度图像手部检测,简化全手3D姿态估计,以食指双关节坐标确定手势指向,能够根据用户手势动作分析出交互指令,继而操控AR虚拟物体。实验结果表明,HPOI框架提高了定向交互准确率,减少了手势定向时间;将框架模型移植到AR设备的实际效果进一步地验证了本文方法的可行性。(2)针对深度图像的手势姿态估计任务,本文提出了一种手势姿态估计算法(Depth Image Hand Pose Estimation,DIHPE-Net)。该算法主要有三个子模块构成:特征提取模块、像素坐标模块和U-Net编码解码器。特征提取模块具有少量参数且支持快速提取深度图像手部特征;像素坐标模块能够将手部特征和预定义的手关节图一一映射匹配;U-Net编码解码器主要由图卷积、图池化和图解池实现的一种四阶对称网络结构,能够将像素坐标精准回归至三维关节坐标。在测试数据集上的实验结果验证了深度图像手势估计算法的精准度和实时性,并将算法应用于虚拟物体移动场景,增加了交互灵活性。(3)针对彩色图像的手势姿态估计任务,本文提出了一种手势姿态估计算法(RGB Image Hand Pose Estimation,RGBIHPE-Net)。该网络也包含了三个子模块:特征提取模块、关节图推理模块和三维坐标模块。特征提取模块用于快速提取彩色图像手部特征;关节图推理模块是基于手关节图通过像素和关节的映射关系实现手部特征的增强;三维坐标模块将增强后的手部特征进行特征维度转换,从而精准预测出三维关节坐标。通过端到端训练,在测试数据集上验证了彩色图像手势估计算法的精准度和实时性,并将算法应用于虚拟物体缩放场景,验证了算法的可行性。(4)针对RGB-D数据的手势姿态估计任务,本文提出了一种端到端融合手势姿态估计算法。基于单模态图像信息的手势估计受图像信息自身特性和环境条件影响,其鲁棒性和估计准确率并不高。针对这一特点,本文提出了一种新颖的RGB-D融合手势估计模型。融合模型的特征提取采用了轻量级倒置残差块,基于图卷积网络开展了手部特征和二维关节的映射匹配,增强了手部特征信息以及快速回归出三维关节坐标。融合方法采用数据融合、特征融合和决策融合,通过综合利用两种图像信息的相关性和互补性,提高手势估计的准确率与鲁棒性。最后,在测试数据集上验证了融合模型的有效性。本文针对增强现实的手势定向交互、深度图像、彩色图像和RGB-D融合数据各自实现了相应的算法设计,不仅取得了较好的精度,还具有良好的鲁棒性。更进一步,食指双关节射线为后续AR设备手势定向交互提供了新思路;轻量化特征提取设计充分挖掘了AR设备手部图像在任务中的表征能力;多样化图卷积设计为后续AR设备手势关节估计提供了多样的算法方案;本文还充分挖掘了RGB-D数据在手势估计任务中的互补性信息,为多模态视觉数据手势估计打下了坚实基础。
面向增强现实的视觉手势姿态估计研究
这是一篇关于手势姿态估计,AR设备,深度图像,彩色图像的论文, 主要内容为增强现实(Augmented Reality,AR)技术是一种将真实世界信息和虚拟世界信息紧密集成的新技术,通过屏幕把虚拟世界叠加到现实世界并进行互动。增强现实技术摒弃了传统的鼠标、键盘等输入方法,融合了自然便捷的手势、语音等智能交互方式。其中手势作为人们与真实世界交流的方式之一,凭借其自然灵活、快速便捷的特性,成为增强现实人机交互的首选方式。手势领域中定向交互、姿态估计等相关研究也因具有重大的学术意义和实际应用价值而引起广泛关注。本文针对增强现实场景的实际交互需求,对手势定向交互和手势姿态估计展开研究。手势定向交互是为了解决现有增强现实定向交互存在的算法冗余、流程复杂等问题,研究内容主要包括数据集创建、算法设计和模型应用;手势姿态估计是为了提高增强现实姿态估计的精准度和实时性,本文基于深度图像、彩色图像和RGB-D融合图像展开研究,研究内容主要包括不同模态图像的手势姿态估计算法设计、实验结果验证以及模型的移植。具体任务如下四方面所示:(1)针对现有手势定向交互问题,本文提出了一种轻量化的手势定向交互(Hand Pose Orientation Interaction,HPOI)框架。HPOI框架支持深度图像手部检测,简化全手3D姿态估计,以食指双关节坐标确定手势指向,能够根据用户手势动作分析出交互指令,继而操控AR虚拟物体。实验结果表明,HPOI框架提高了定向交互准确率,减少了手势定向时间;将框架模型移植到AR设备的实际效果进一步地验证了本文方法的可行性。(2)针对深度图像的手势姿态估计任务,本文提出了一种手势姿态估计算法(Depth Image Hand Pose Estimation,DIHPE-Net)。该算法主要有三个子模块构成:特征提取模块、像素坐标模块和U-Net编码解码器。特征提取模块具有少量参数且支持快速提取深度图像手部特征;像素坐标模块能够将手部特征和预定义的手关节图一一映射匹配;U-Net编码解码器主要由图卷积、图池化和图解池实现的一种四阶对称网络结构,能够将像素坐标精准回归至三维关节坐标。在测试数据集上的实验结果验证了深度图像手势估计算法的精准度和实时性,并将算法应用于虚拟物体移动场景,增加了交互灵活性。(3)针对彩色图像的手势姿态估计任务,本文提出了一种手势姿态估计算法(RGB Image Hand Pose Estimation,RGBIHPE-Net)。该网络也包含了三个子模块:特征提取模块、关节图推理模块和三维坐标模块。特征提取模块用于快速提取彩色图像手部特征;关节图推理模块是基于手关节图通过像素和关节的映射关系实现手部特征的增强;三维坐标模块将增强后的手部特征进行特征维度转换,从而精准预测出三维关节坐标。通过端到端训练,在测试数据集上验证了彩色图像手势估计算法的精准度和实时性,并将算法应用于虚拟物体缩放场景,验证了算法的可行性。(4)针对RGB-D数据的手势姿态估计任务,本文提出了一种端到端融合手势姿态估计算法。基于单模态图像信息的手势估计受图像信息自身特性和环境条件影响,其鲁棒性和估计准确率并不高。针对这一特点,本文提出了一种新颖的RGB-D融合手势估计模型。融合模型的特征提取采用了轻量级倒置残差块,基于图卷积网络开展了手部特征和二维关节的映射匹配,增强了手部特征信息以及快速回归出三维关节坐标。融合方法采用数据融合、特征融合和决策融合,通过综合利用两种图像信息的相关性和互补性,提高手势估计的准确率与鲁棒性。最后,在测试数据集上验证了融合模型的有效性。本文针对增强现实的手势定向交互、深度图像、彩色图像和RGB-D融合数据各自实现了相应的算法设计,不仅取得了较好的精度,还具有良好的鲁棒性。更进一步,食指双关节射线为后续AR设备手势定向交互提供了新思路;轻量化特征提取设计充分挖掘了AR设备手部图像在任务中的表征能力;多样化图卷积设计为后续AR设备手势关节估计提供了多样的算法方案;本文还充分挖掘了RGB-D数据在手势估计任务中的互补性信息,为多模态视觉数据手势估计打下了坚实基础。
基于深度学习的快递包裹信息智能采集系统的设计与实现
这是一篇关于图像处理,深度学习,深度图像,目标检测,显著性检测,条码定位的论文, 主要内容为近年来随着电子商务的快速发展,物流运输行业规模日益壮大,快递包裹的运输量逐年上升,在当前大多数情况依靠人工获取包裹信息的情景下,产生了信息不能及时得到处理而导致转运中心爆仓等问题。随着人工智能与计算机技术的不断发展,物流业加速向自动化与智能化方向发展。目前在许多物流仓储企业,仍然靠人工手持设备获取包裹的条码信息,效率低下且人工成本高;同时该设备也无法获取包裹的位置与体积信息,从而无法对运载车辆进行合理地调配与高效运输。针对上述问题,本文设计了快递包裹信息智能采集系统来实现对包裹信息的获取与管理,主要研究如下:为了实现在传送带上对包裹的检测,本文设计了基于深度学习的包裹目标检测算法,提出了一种基于YOLOv5s的YOLOv5s-SPB模型。该模型创新性的将注意力机制模块Par Net与SE-Net融入到YOLOv5s模型中,并对Neck模块进行了优化,利用Bi FPN实现了高效的双向跨尺度连接与加权特征融合。在加强特征融合的基础上,提升了检测的速度。使用大量的现场包裹图像对网络进行训练,包裹识别准确率达到99.2%,能够实现对包裹的准确识别。为了实现对包裹准确的定位,本文提出了一种基于深度学习的包裹显著性检测算法,即显著性检测模型U2-Net-D。在以U2-Net作为骨干网络的基础上,引入深度图像作为训练集,减少了光照和包裹颜色特征对包裹显著性检测的影响,提高了准确率。首先对包裹的深度图像数据集进行预处理,然后结合彩色图像送入网络实现对模型的训练,最后进行模型的验证,并与多种显著性检测模型对比。结果显示,本文提出的模型在包裹定位上的准确率达到了95.88%,并在误差上做到了最小,较好地满足了包裹定位的要求。本文对条码定位检测模块和体积测量模块做了相应的研究。在条码定位检测模块,本文提出了条码定位预处理器来获取条码的位置,然后将条码位置图像转换到频域处理,并结合霍夫变换实现对条码角度的校正,最后实现对条码的识别;在体积计算模块中,使用积分算法的思想,实现了对包裹体积的准确测量,并进行了长期测试,体积测量精度高达95%以上。最后,本文将上述模块进行集成,设计并实现了包裹信息智能采集系统。该系统不仅对包裹信息进行采集,并能对其存储与管理。包裹信息智能采集系统的实现有利于推进物流行业迈向智能化、自动化,更好的节省运输成本,并提升运输效率。
基于深度学习的快递包裹信息智能采集系统的设计与实现
这是一篇关于图像处理,深度学习,深度图像,目标检测,显著性检测,条码定位的论文, 主要内容为近年来随着电子商务的快速发展,物流运输行业规模日益壮大,快递包裹的运输量逐年上升,在当前大多数情况依靠人工获取包裹信息的情景下,产生了信息不能及时得到处理而导致转运中心爆仓等问题。随着人工智能与计算机技术的不断发展,物流业加速向自动化与智能化方向发展。目前在许多物流仓储企业,仍然靠人工手持设备获取包裹的条码信息,效率低下且人工成本高;同时该设备也无法获取包裹的位置与体积信息,从而无法对运载车辆进行合理地调配与高效运输。针对上述问题,本文设计了快递包裹信息智能采集系统来实现对包裹信息的获取与管理,主要研究如下:为了实现在传送带上对包裹的检测,本文设计了基于深度学习的包裹目标检测算法,提出了一种基于YOLOv5s的YOLOv5s-SPB模型。该模型创新性的将注意力机制模块Par Net与SE-Net融入到YOLOv5s模型中,并对Neck模块进行了优化,利用Bi FPN实现了高效的双向跨尺度连接与加权特征融合。在加强特征融合的基础上,提升了检测的速度。使用大量的现场包裹图像对网络进行训练,包裹识别准确率达到99.2%,能够实现对包裹的准确识别。为了实现对包裹准确的定位,本文提出了一种基于深度学习的包裹显著性检测算法,即显著性检测模型U2-Net-D。在以U2-Net作为骨干网络的基础上,引入深度图像作为训练集,减少了光照和包裹颜色特征对包裹显著性检测的影响,提高了准确率。首先对包裹的深度图像数据集进行预处理,然后结合彩色图像送入网络实现对模型的训练,最后进行模型的验证,并与多种显著性检测模型对比。结果显示,本文提出的模型在包裹定位上的准确率达到了95.88%,并在误差上做到了最小,较好地满足了包裹定位的要求。本文对条码定位检测模块和体积测量模块做了相应的研究。在条码定位检测模块,本文提出了条码定位预处理器来获取条码的位置,然后将条码位置图像转换到频域处理,并结合霍夫变换实现对条码角度的校正,最后实现对条码的识别;在体积计算模块中,使用积分算法的思想,实现了对包裹体积的准确测量,并进行了长期测试,体积测量精度高达95%以上。最后,本文将上述模块进行集成,设计并实现了包裹信息智能采集系统。该系统不仅对包裹信息进行采集,并能对其存储与管理。包裹信息智能采集系统的实现有利于推进物流行业迈向智能化、自动化,更好的节省运输成本,并提升运输效率。
基于Realsense线上教育表情识别的研究及应用
这是一篇关于Realsense,线上教育,表情识别,卷积神经网络,深度图像的论文, 主要内容为随着远程实时视频技术的不断发展以及新冠疫情的爆发,线上教育的重要性已经日益显现。虽然目前我国疫情已经稳定,但是这次突发事件也为全世界敲响了警钟,使线上教育的发展走向了“高速公路”。而线上教育由于其时空分离的特点,师生之间无法进行情感交流一直是该领域亟待解决的问题。本文使用Realsense深度相机,帮助教师实时获取线上教育中学生的面部表情和姿态,分析其学习状态,从而提高教学质量。本文主要内容和创新点包括:(1)针对线上教育学生学习表情的特点,研究分析常见的学习表情后使用Realsense深度相机自制了一个学习表情数据集,该数据集包含RGB图像和对应帧的深度图像以及不同表情的姿态。本文后续对RGB-D图像进行了多种预处理方式,通过对比实验选出最适合本文数据集的方法。(2)针对线上教育表情识别易受到光照、头部姿态等因素影响的问题,提出了一个双通道多任务的DCMT-Res Net34网络模型,将RGB图像和深度图像分别输入进行特征提取,并加入头部姿态这个相关联性较强的任务作为辅助依据联合训练,共同引导模型学习特征从而提高效率,最后将提取的特征融合,使用Softmax函数进行表情识别,使用全连接层进行头部姿态估计,两个任务同时进行从而提高线上教育中师生互动的效率。(3)针对DCMT-Res Net34网络模型过大从而影响速度和精度的问题,在整个网络中融入空洞卷积和空间注意力机制,保证速度的前提下扩大模型视野,进一步挖掘特征。并且本文设计了一个交叉熵与欧氏距离融合的损失函数,提高了两个任务特征提取的精度。实验结果表明,本文方法速度可达到0.584秒,表情识别准确率达到88.04%,姿态识别准确率达到97.97%。(4)本文设计了一个Realsense线上教育表情识别系统,在腾讯会议上对单个和多个学生的学习状态进行实时识别和整体过程分析,验证了本系统的可行性与实用性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设货栈 ，原文地址：https://m.bishedaima.com/lunwen/54486.html
