基于深度学习的AR商品推荐系统的研究与实现
这是一篇关于增强现实,性能监控,深度学习,嵌入向量,推荐系统的论文, 主要内容为随着增强现实(Augmented Reality,简称AR)技术的发展,越来越多的AR移动应用进入到人们生活中,尤其是在移动电商领域。在AR购物场景中,消费者能得到身临其境的购买体验,更全面和完整地了解商品的特点。但现有的AR购物环境中存在一些问题:其一,AR应用由于其自身的复杂性,出现的卡顿和崩溃等软件缺陷往往难以被应用开发者捕获;其二,由于大量AR操作特征未被利用,商品推荐模型表现效果不佳;其三,推荐系统在处理商品特征时存在性能瓶颈,需要结合AR场景的特点改善其性能。本文针对AR购物场景,构建AR软件性能监控和用户行为采集方案,提出结合场景信息的AR商品推荐算法,设计并实现了基于深度学习的AR商品实时推荐系统。本文以广州市两个产学研重点计划项目为依托,为解决AR软件在电商领域面临软件质量不高、推荐效果不佳、系统存在性能瓶颈等问题,研究内容具体如下:(1)开发一款软件开发包(SDK),分析ARKit底层原理,通过应用埋点的方式为AR应用开发者提供的性能监控和用户行为采集服务。帮助开发者提高AR应用的开发质量,了解其应用中的用户隐式行为反馈,并借助实验室平台提供数据可视化服务。(2)基于前述采集数据,提出了一个基于场景感知注意力机制的AR商品推荐算法,通过融合场景数据和交互数据,分析用户偏好和商品属性的综合特征,预测用户对商品的喜好程度并做出推荐。实验表明该算法能够有效提升AR商品推荐的效果。(3)参考Lambda的大数据架构,设计与实现了一种基于深度学习的AR商品实时推荐系统架构。在Lambda大数据架构中加入机器学习层,通过整合推荐系统和大数据平台,实现推荐系统的训练、更新、在线服务等过程,同时为系统提供冷启动解决方案。最后分流测试验证了本文提出的商品推荐算法在线上服务的有效性。
PCB车间AR作业指导系统中多目标跟踪的关键技术研究
这是一篇关于增强现实,作业指导,目标检测,多目标跟踪,深度学习的论文, 主要内容为在国家“十四五”规划中,将推进制造业高质量发展和建设“制造强国”放在更加突出的位置,并指出要以工业互联网赋能和智能制造为手段,推进传统工业的升级和改造。而传统的PCB行业生产和管理高度依赖员工熟练程度与技能水平,如何快速且准确地提供相关作业指导信息对辅助操作人员进行生产、巡检和管理等具有重要的指导作用和实际应用价值。目前,PCB企业大多采用纸质作业指导书,只有少数企业实现了PC端、移动端和数据大屏的信息化。随着“工业4.0”计划的发展,已有专家学者将AR增强现实技术结合工业环境开发工业AR应用系统,而能否实时准确地对工业设备进行目标跟踪将直接决定AR系统性能。由于工业设备在图像中的姿态和外观不尽相同,再加之遮挡影响、背景干扰等诸多因素影响,给当前应用场景的目标跟踪算法应用研究带来了巨大挑战。针对上述问题,为提高多目标跟踪算法在实际工业应用中的准确性,本课题以YOLOv7和Deep Sort算法为基础开展了相关研究。研究工作和贡献如下:(1)针对由于PCB工业设备摆放密集、遮挡重叠导致基于检测的多目标跟踪算法的检测器精度低的难题,提出了一种基于改进YOLOv7工业设备目标检测模型。首先,通过在主干网络中加入CA注意力机制,提高网络对PCB工业设备可视区域特征的关注;然后采用SIo U改进检测模型损失函数,有效提升目标位置回归精度;最后引入Adaptive-NMS算法根据物体密集程度自适应调节阈值,以保留更多正确的预测框。最后,通过在自制的PCB工业数据集上进行实验,实验结果验证了改进的目标检测模型在遮挡重叠环境下的检测精度有明显提升。(2)为解决目标遮挡和模型复杂度较高影响跟踪器实时性和准确性难题,对多目标跟踪算法Deep Sort的特征提取模型进行了改进。首先在Deep Sort多目标跟踪算法中引入Shuffle Net V2轻量型网络对特征提取模型重新训练,减少模型的参数量,提高模型的推理速度;并结合YOLOv7检测模型,获取更为精准的边界框,提高跟踪精确率。改进的多目标跟踪模型在自制的PCB工业数据集上进行实验,实验结果表明该算法可以在工业设备摆放拥挤的环境中具有良好的跟踪准确性和实时性。(3)为了验证改进的多目标跟踪算法在AR应用系统中的适用性,因此搭建并实现了一个基于AR的作业指导系统原型。将该系统原型结合基于YOLOv7+Deep Sort的改进算法,以Hololens2设备为载体进行PCB工业设备多目标跟踪测试。系统运行结果表明,该原型系统与Hololens2设备相结合,可实现对PCB生产车间的工业设备的精准检测和实时跟踪,实验验证了本文提出基于AR的作业指导系统的可行性与有效性。
基于刚体6D位姿估计的AR在线远程指导系统的设计与实现
这是一篇关于知识蒸馏,远程指导系统,增强现实,刚体6D位姿估计的论文, 主要内容为随着科技的日新月异,越来越多的高科技产品深入人们的日常生活之中。生活中难免会遇到设备使用方法不明、设备故障等情况。而普通人往往很难应对可能遇到的所有情况,且相关方面的专家也不能保证随叫随到,因此远程指导系统有着巨大的市场需求。而目前大多数远程指导系统仅局限于对二维平面进行相关操作,这种方式对于一些没有相关经验的人员来说不太直观。也有部分结合了增强现实技术的远程指导系统能起到不错的效果,但这些系统往往需要搭配昂贵的设备进行使用。因此,本文设计并实现了一个结合增强现实技术并能够部署在移动端使用的在线远程指导系统。该系统通过结合增强现实技术,使用户可以采取结合物体3D模型对所遇到的问题进行详细阐述,专家也可以通过AR特效与3D模型相结合的方式对用户进行专业指导。该系统通过将物体与指导动作可视化的方式实现远程指导,大大地提高了远程指导的效率。增强现实技术需要实时获得指定物体的与相机间的位姿关系,因此增强实现技术的应用还需要基于实例级别的刚体6D位姿估计算法的帮助。通常将刚体6D位姿估计算法分为定位算法与跟踪算法两种。所谓其中定位算法往往拥有较高的精度和较慢的推断速度,这对于具有实时性的增强现实技术而言是无法接受的。而跟踪算法满足实时性的要求,但目前基于实例级别的6D位姿跟踪算法基本上采用RGB-D数据作为输入,这显然对系统的使用设备有着极高的局限性。因此本文结合知识蒸馏的思想,提出了一种使用RGB图像作为输入数据的面向增强现实应用的定位-跟踪主从网络。通过对定位算法的网络进行知识蒸馏,得到一个参数量少的网络用于刚体的6D位姿跟踪。为了网络的训练与测试,本文构建了一个由四个物体数十个场景组成的RGB图像数据集。本文基于Unity3D、Visual Studio Code与Xcode对系统前端、端到端通信与系统功能进行了实现。由于跟踪需要给予初始位姿并且是一个累计误差的过程,因此本文结合C++与Socket技术搭建了一个用于部署定位网络模型的服务器。通过用户端与服务器端的信息传输,起到给予初始位姿与矫正跟踪误差的作用。通过实验证明,本文提出的主从网络在刚体6D位姿估计上有着较高的精度,并且跟踪网络在PC端上平均推断速度可达129FPS,在移动端上平均推断速度可达25FPS,已充分满足实时性的要求。
基于AR的钢铁智能运维单兵研究
这是一篇关于设备运维,物模型,知识图谱,增强现实,智能单兵的论文, 主要内容为随着我国钢铁企业数字化转型的不断深入,对钢铁设备运维全链路运维管理的统一化,智能化,标准化提出更高的要求。科学稳定的设备运维系统对生产线的稳产高产,降低钢铁设备的非故障停机率等方面发挥着越来越重要的作用。面对传统的钢厂设备运维中运维对象复杂,运维模式滞后,运维手段单一等业务痛点,本文针对钢厂运维管理人员和一线运维人员设计了一套基于微服架构的AR智能运维单兵系统,赋能钢厂设备的数据运维,高效运维,科学运维。本文通过对钢厂设备运维的特点和业务模型分析,提出基于数据轮和知识轮的双轮驱动的架构设计。针对海量设备接入管理的复杂性,利用物模型完成设备实体建模,实现钢厂设备多源异构数据的集中管理,并以物模型为纽带,构建了钢铁设备运维知识图谱,实现设备运维的全链路知识沉淀的闭环,解决了传统钢厂设备运维对运维知识缺乏有效的管理和沉淀问题。基于数据驱动和知识驱动,借助AR眼镜的沉浸感和交互式能力,作为钢厂一线运维人员的“运维武器”,配合钢铁设备运维知识图谱作为“指挥中心”,通过标准作业,远程专家指导等技术实现设备点巡检,故障处理,电子工单等上层维保业务的实现端侧运维流程可视化,设备实时数据可视化,维保过程资料可视化,进而在端侧“武装”钢铁智能运维单兵。为了保障AR钢铁智能运维单兵系统整体的可靠性、易用性、完整性,从系统登录验证与请求鉴权、角色权限管理、业务服务管理、系统服务调用几个方面,保证了系统的资源协同,数据协同,服务协同。最终根据某钢厂实际业务需求完成功能测试,为钢铁企业进一步提高设备运维管理能力提供了一定的参考。
基于AR云系统下的图像检索算法研究
这是一篇关于增强现实,图像检索,近似最近邻查找,特征提取的论文, 主要内容为随着移动设备的计算能力的不断进步,目前已经可以在移动端实现增强现实(AR)的特征检测特征匹配等复杂图像处理,但移动AR应用仍然面临很多问题。比如Mark图片与后台图片数据库的匹配速度慢,查询效率低等等。在本文中,本文提出了CloudAR,这是一种基于云架构的增强现实系统。本文详尽地探索了基于云架构的增强现实系统的设计,为了减轻移动端进行图像匹配作业的负担,将繁重的计算任务转移到云环境,由于现有的研究与技术并不能满足动态添加删除新图片数据的需求,设计了一种动态自适应二元层次词汇树图像检索方法。首先,基于层次化聚类,改进词汇树,借鉴随机投影森林近似最近邻查找法构建高维空间二叉树。这样图像的增加与删除并不需要重新构建结构,极大地减轻了后台数据库的负担,同时由于其本身二叉树的结构结合词汇树倒排索引系统,降低了时间复杂度,提高了图片检索速度。接着,改进了TF-IDF算法,借鉴VLAD,减少Bo W造成的信息损失,同时又满足大规模编码本的使用需求,使得视觉词袋词汇的权重更合理,从而提升准确度与效率。在实验结果的评估中,使用CloudAR框架构建的移动AR应用程序平均以每秒30帧(FPS)的速度运行。部分实验的结果还表明,CloudAR在几个性能指标上均优于领先的商业AR框架之一。同时,传统的基于内容的图像检索方法,无法增量的学习新的图像样本,实验表明,本文提出的方法刚好可以弥补这一缺陷。
基于增强现实的智能虚拟民航发动机维修手册与工卡技术研究
这是一篇关于深度学习,声纹识别,增强现实,HoloLens2,民用航空发动机维修的论文, 主要内容为航空发动机是一种技术密集、大型而复杂的机电系统。它的内部结构非常复杂,因此在拆卸、维修方面存在很大的困难。此外,维修费用高昂,对维修人员的技术要求也非常高。航空发动机的维护质量好坏直接影响其性能衰退和可靠性。目前,发动机的维护主要依赖于查阅纸质文档或者查看电子手册,维修人员必须同时阅读和维修,在完成每个维修步骤后还要在工卡上签署姓名与记录日期,因此维修效率低下、易受环境影响、容易出现维修错误,这些因素都会导致维修难度加大,此外,维修人员的技能和经验对于维修装配的质量控制也存在一定的不确定性。面对航空发动机的维修装拆手册与工卡存在的问题,迫切需要开发一种以操作者为中心的人性化、智能化的维修装配指导工卡与手册,以更加便利的形式指导操作者完成复杂的维修装配工作,以降低作业难度、提高作业效率、减少作业差错。为了解决上述问题,利用增强现实可将虚拟信息与真实世界信息互为补充的特点,探究民航发动机维修领域中的增强现实人机交互设计,使维修人员可以使用更加便利的方式查阅工卡与手册,获取在维修过程中必要的信息,提高民航发动机维修人员的工作效率,降低航空器维修的成本。并结合基于深度学习的声纹识别技术研发一种全新的维修工卡签署方式,来达到解放维修工作人员双手的目的。在经过多家设备对比之后,本论文选用微软公司的Hololens 2作为研发平台,并使用微软方的开发解决方案。由于整个项目采用了C/S项目构架,本文内容按照客户端-服务器的顺序展开叙述,进行客户端与服务器的工程环境部署、客户端系统的设计模式与程序设计细节、服务器端声纹识别模型的开发与网络连接开发。
基于ROS的果园遥控割草机器人设计与试验
这是一篇关于果园割草,电驱动,机器人操作系统,遥控系统,增强现实的论文, 主要内容为近年来,果树种植业在我国飞速发展,本文结合当前标准化果园内机械化,智能化割草作业装备的需求,设计了一种由避障割草作业模块和履带式电动平台组成的果园遥控割草机器人。该机器人采用电驱动,环保清洁。作业模块与电动平台之间可通过电动三点悬挂系统快速挂接。设计了基于ROS的整机控制系统,还有远程遥控系统,操作者可通过摇杆与车前摄像头画面对机器人进行遥控,降低劳动强度,保护操作者身心健康。最后,测试分析了该机器人的作业效果。本文的主要研究内容及结果如下:(1)避障割草作业模块设计。根据自动化果园割草作业需求,制定了避障割草模块的设计方案:该模块由电动平台牵引,采用标准三点悬挂挂接和电机驱动,具备同时进行果园行间割草与株间避障割草的功能,并对其中关键部件进行了设计与选型。(2)履带式电动平台设计。制定了履带式电动平台的设计方案:该平台由动力电池进行供电,双电机驱动,可通过WIFI网络进行远程遥控。设计了平台上搭载的电动三点悬挂系统,可挂接上述割草作业模块进行果园割草作业。(3)整机控制系统与远程遥控系统设计。设计了割草机器人的整机控制系统与远程遥控系统。整机控制系统基于ROS机器人操作系统进行搭建,设计了网络通讯,电池管理及定位信息采集,电机驱动与电路控制程序,在电动平台搭载的工控机上运行。远程遥控系统基于QT搭建,使用飞行摇杆发出操作指令,遥控界面可显示机器人车前画面等信息,并针对果园行驶条件复杂,遥控难度大的问题,设计了基于增强现实的轨迹引导方案。(4)样机遥控操作与割草作业试验。使用实机进行了割草机器人的遥控操作试验和果园割草作业试验,测试控制与遥控系统的可靠性和避障割草作业效果。试验结果表明,遥控操作下,机器人行驶机构与提升机构稳定安全,轨迹引导方案较为可靠,果园割草作业效果能够达到设计指标。
多媒体引导辅助装配教学平台关键技术研究
这是一篇关于辅助装配,深度学习,增强现实,特征匹配,人机交互的论文, 主要内容为模具实验课程是机械专业的重要课程,可以帮助高校学生培养实践技能以及分析和解决问题的能力,促使他们完成模具结构的设计和装配。但高校教学还保留了较原始的教学方式,实验课课时有限导致学生无法快速理解专业知识,更无法对所学知识进行实际运用。同时装配指导手册需要操作人员有一定的先验知识支撑,不利于学生对相关装配步骤的学习。随着增强现实技术的发展,将增强现实融入模具装配实验教学过程,智能化的实验课教学能够帮助学生更加直观和深入地了解知识点,提高学习效率增强课堂趣味性。本文针对传统模具装配实验课教学方法的缺陷,对多媒体引导辅助装配教学平台进行开发。首先对增强现实技术、信息可视化技术与人机交互技术进行研究,其次将关键技术进行集成搭建总体框架,最后根据框架分类设计了多媒体引导辅助装配教学平台系统,实现装配现场与引导信息相结合,辅助学生熟练掌握课程内容。本文研究内容如下:(1)对传统拆装实验教学存在的问题进行了分析,针对传统教学存在的问题以及实际操作过程中的需求规划了多媒体引导辅助装配教学平台的整体架构,明确了本文的研究要点以及关键支撑技术,划分了本平台的主要功能模块,介绍了平台系统实现的具体流程。最后,搭建了多媒体引导辅助装配教学系统硬件系统,并对硬件系统的主要模块的选型依据进行了阐述。(2)根据视觉模块相对位姿固定不动的特点以及现场环境决定的标定需求对相机-投影仪-桌面装配现场位姿注册技术进行研究,首先提出了基于改进优化算法的相机标定方法对相机标定获得的内部参数及畸变参数进行优化,其次将相机和投影仪看成双目模型使用基于张氏标定法的投影仪标定方法完成投影仪的标定,最后使用暗环境下改进的ORB特征识别和匹配算法对装配现场进行位姿注册。关键技术间的互相组合实现了相机-投影仪-桌面装配现场的数据联合。(3)根据平台引导信息形式多样且数量较多的特点,首先对引导信息管理进行研究提出了基于XML文件的信息管理模型,将装配平台中用到的各种文本、视频、音频等可视化信息以及实验模型零件树进行统一管理;其次,针对动态引导信息的投放需求建立了投影仪反向投影模型用来展示三维引导信息,并引入冯氏光照模型对三维引导信息进行渲染增强三维引导信息的真实性。最后,根据系统操作需求提出了基于CNN-LSTM改进的人机交互识别方法并辅以Media Pipe框架实现了系统对手势语义以及头部位置的识别,实现了隔空的信息更迭以及三维引导信息的优化。(4)集成所有的关键技术,对多媒体引导辅助装配教学平台系统进行开发;使用集成式开发工具VS2017根据系统总架构设计了软件界面,实现多媒体引导辅助装配操作;在此基础上以铝片落料模具为例介绍了ASSIP系统的操作流程,对功能模块中个技术要点进行阐述与验证。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码向导 ，原文地址：https://m.bishedaima.com/lunwen/45411.html
