基于边缘计算的人体下肢行为识别系统研究
这是一篇关于边缘计算,下肢行为识别,EdgeX,边缘设备,个性化模型,迁移学习的论文, 主要内容为在集中处理数据的云计算模式尚未良好地应对爆炸式增长的海量应用数据的时代背景下,一种可以减轻云中心平台的计算负担,赋予边缘端设备智能化的边缘计算模式便应运而生。伴随着人体行为识别技术的广泛应用,需要大量的算法模型,传统的训练方式往往消耗大量的计算资源和人力成本,本文结合边缘计算框架,研究一种人体下肢行为特征识别的系统,提出云-边-端协同的算法训练方式,避免大规模集中式的训练方式,注重算法的个性化与迁移学习。云端进行普适化模型训练,边缘网关进行迁移学习,实现个性化训练,边缘侧采用个性化模型进行识别,为不同的测试者提供个性化的模型。本文采用EdgeX设计了边缘计算框架中的边缘网关,同时设计了一款实时采集两种肢体行为信号,可识别多种人体下肢运动模式的边缘端设备,主要研究内容包括:(1)本文采用边缘计算理念的新范式,通过开源的边缘计算框架EdgeX搭建边缘网关,在EdgeX内部的各个服务层中配置不同的微服务功能,完成边缘网关南北侧的服务设计,协调EdgeX框架内各个微服务的信息交互,实现对边缘端设备的多设备管理控制与数据交互。(2)本文设计一款边缘端人体下肢行为识别设备,集成了人体表面肌电信号的采集电路、信号调理电路、足底信号检测电路、惯性传感器信号的采集接口以及边缘端主控平台,实现了分别对sEMG和IMU两种信号的数字滤波、基于滑动时间窗的数据分割以及对两种信号分别提取多种不同数据特征,完成信号的预处理。(3)在算法设计层面,本文采用分支结构的卷积神经网络融合两种下肢肢体运动信号,实现对行走、下楼梯、跳跃以及上楼梯四种不同下肢运动模式的识别,得到具有一定泛化能力的CNN人体下肢行为识别普适化模型。(4)为实现不同识别对象的个性化识别,本文采用基于模型的迁移学习方法,在普适化模型和开源手势识别模型的基础上进行迁移学习,采用冻结部分网络层与微调的迁移学习操作,训练得到的个性化模型。对比分析迁移学习的模型效果。(5)设计在边缘侧进行模型识别的验证实验,同时接入网关进行下肢行为识别,分别在边缘本地或者边缘网关对识别结果进行实时显示,验证多个设备接入网关以及采用个性化模型进行识别,完成系统搭建。
葡萄园无人车环境感知系统研究
这是一篇关于环境感知系统,障碍检测,单目深度估计,边缘设备的论文, 主要内容为随着科学技术,特别是信息技术的快速发展,人类的生产生活方式逐渐进入了自动化和智能化,越来越多的无人自动化设备被应用到了生产生活中的各个方面,对提高生产效率,降低从业者劳动强度有一定的帮助。而农业作为支撑国民经济建设与发展的基础产业,对社会发展的重要性不言而喻。农业生产的自动化和智能化对提高农业生产作业效率,促进农业发展具有十分深远的意义:不仅可以显著降低作业时间成本和人工成本,提高农产品质量,还帮助带动了智能农业机械制造相关产业的进步和发展。葡萄园作为常见的农业场景,在其内使用智能无人车帮助从业人员完成运输、喷药等任务,是实现该场景智能化和自动化生产的有效方法,但目前的种植园无人车存在着一些诸如感知设备价格较高,避障方式单一的问题。为设计出满足葡萄园无人车导航和避障需求且成本较低的环境感知系统,本文对葡萄园环境感知系统进行了研究和分析,使用葡萄园障碍目标检测与葡萄园单目深度估计相结合的方法,成功在充当无人车计算平台的边缘设备NVIDIA Jetson Xavier NX上实现了低成本的葡萄园场景环境感知。本文的研究内容主要如下:(1)为降低成本并保障障碍检测的实时性,本文对适合在边缘设备上运行的轻量级目标检测算法进行了研究,并进一步提出了TFN-YOLOv4-tiny检测模型。首先,本文建立了葡萄园场景中常见障碍物的RGB数据集。然后,通过对目前主流的多种备选的轻量级目标检测算法进行训练、比较和分析,选择了其中性能平衡性最好的YOLOv4-tiny算法作为基础算法,并使用提出的Triff Net特征融合网络替换了其原本的FPN网络,提出了TFN-YOLOv4-tiny模型,并移植到NVIDIA Jetson Xavier NX上进行了多项实验。实验结果表明,与FPN相比,由于Triff Net网络采用了双向特征融合通路,并增加了对应通道特征图特征值相加这一融合方法,TFN-YOLOv4-tiny模型在葡萄园场景下的检测精度(0.777)相比基础算法(0.601)提升了17.6%,且可以在NX上以25.57FPS的速度运行,具有较好的实际表现。(2)由于需要检测出障碍物与无人车之间的距离,而该距离可以通过对单目深度估计算法所估计的深度值换算得到,故本文对葡萄园场景的单目深度估计算法进行了研究,并提出了Mono DA模型。首先选取了一些主流的单目深度估计算法作为备选算法,并使用该领域广泛采用的KITTI RAW数据集进行了训练。通过对这些训练完成后的单目深度估计算法进行相关实验、比较和分析,选择了其中精度最高的Mono Depth2算法作为基础算法。出于提升其在边缘设备上的运行表现的考虑,对该算法进行了结构精简和改造:对原深度估计网络删减了桥接操作和卷积操作数目,而为了获得更有层次感的深度图,使用斜率较为平缓的非饱和激活函数Softplus替换了原最终激活函数Sigmoid。对原位姿估计网络则使用Efficient Net-B0网络替换了Res Net18作为骨干网络,最终提出了Mono DA模型。该模型在训练完成后,被移植到边缘设备NX上并进行了一系列相关实验。实验结果表明:在边缘设备上,对于葡萄园场景图像,该模型可以以20.91FPS的速度,实现平均测距相对误差为14%的实时测距,符合作为环境感知系统单目深度估计模块算法的要求。(3)本文综合以上两种算法,并对环境感知系统的需求和技术方案加以分析,最终设计实现了葡萄园无人车环境感知系统。该系统选择了Python3作为编程语言,使用多线程技术对运行速度进行了优化。为降低了人机交互的门槛,基于Py Qt5设计了UI界面。为了检验该系统在计算能力有限的边缘设备上的运行效果,将系统移植到了边缘设备NX上,并在该设备上进行了多项实验。实验结果表明,该系统可在边缘设备上较为流畅的进行葡萄园障碍目标检测和单目深度估计。
红外行人检测研究及边缘设备上的系统实现
这是一篇关于计算机视觉,卷积神经网络,红外行人检测,边缘设备的论文, 主要内容为作为智能监控系统的关键技术之一,行人检测可以为人们的生活、交通、安全等方面提供实时信息和决策支持。在监控系统中,夜间低光照环境是重要的应用场景,红外行人检测由于不受光照变化影响,成为夜间行人检测任务的研究热点。此外,监控系统通常采用边缘设备来进行数据处理和交换,而边缘设备由于硬件限制,难以部署相关模型。在边缘设备上部署红外行人检测模型面临的主要问题包括:1)针对公开红外行人数据集场景单一和虚警过高问题;2)行人尺度不一致性和遮挡问题;3)边缘设备端计算资源受限问题。针对上述问题,本文的研究内容主要包括:1)为解决公开数据集场景单一的问题,本文遵循真实性、多样性原则,建立了面向夜间监控场景的红外行人检测数据集(VOS),其中包含10849帧图像和61959个标注框。本文还对VOS数据集的标签分布等先验知识进行统计分析。此外,针对红外图像的细节不清晰、视频闪烁和行人虚影反射等问题,本文设计了一种基于图像序列的自适应对比度增强方法来重构图像。将不同增强方法生成的图像输入到检测器,通过行人检测性能对比和评估所设计的图像重构方法与其它方法,实验结果表明所设计的方法能够自适应地调节对比度增强幅度,并且在不同检测器上AP平均提高1.94%,优于其他对比方法。2)由于边缘设备的计算资源限制,本文选用YOLOv4 tiny作为基础算法,并展开研究。具体而言,针对K-means聚类不适用于非标准分布的行人数据集问题,本文设计了 IKGSDA聚类方法重新生成先验框,以解决K-means存在的大尺度目标框友好、容易陷入局部最优解和无效先验框分配问题。针对YOLO系列采用的Mosaic数据增强方法虽有助于提高不同尺度和遮挡行人的鲁棒性,但是引入了噪声样本从而导致模型性能下降的问题,本文提出了一种KMPD数据增强方法,包括四种信息保留策略,以提高生成图像的保真度和解决生成图像和原始图像标注准则的二义性。针对密集行人间的类内遮挡问题,本文设计了融合注意力机制、深度可分离卷积的下采样通道的颈部网络和引入排斥力损失等方法,以提高检测器对遮挡行人的检测性能和定位能力。在公开的KAIST、FLIR v2和本文建立的VOS数据集上,本文设计的IGKSDA和KMPD,相对于YOLOv4tiny,在不增加计算复杂度和模型大小的前提下,AP分别提高了 3.61%、1.27%和1.70%。3)为了在实际场景中应用红外行人检测模型,本文实现了行人检测模型的部署,搭建了夜间监控系统。本文选择MaixSense开发板为边缘设备端,并进行模型转换、算子兼容等操作,使得模型可实时地运行在边缘设备上;开发实现低延时的行人监控系统;测试结果证明,搭建的系统能够在压力测试中执行了所有请求,延时小于800毫秒,没有累积延时问题,可以满足实际应用需求。
红外行人检测研究及边缘设备上的系统实现
这是一篇关于计算机视觉,卷积神经网络,红外行人检测,边缘设备的论文, 主要内容为作为智能监控系统的关键技术之一,行人检测可以为人们的生活、交通、安全等方面提供实时信息和决策支持。在监控系统中,夜间低光照环境是重要的应用场景,红外行人检测由于不受光照变化影响,成为夜间行人检测任务的研究热点。此外,监控系统通常采用边缘设备来进行数据处理和交换,而边缘设备由于硬件限制,难以部署相关模型。在边缘设备上部署红外行人检测模型面临的主要问题包括:1)针对公开红外行人数据集场景单一和虚警过高问题;2)行人尺度不一致性和遮挡问题;3)边缘设备端计算资源受限问题。针对上述问题,本文的研究内容主要包括:1)为解决公开数据集场景单一的问题,本文遵循真实性、多样性原则,建立了面向夜间监控场景的红外行人检测数据集(VOS),其中包含10849帧图像和61959个标注框。本文还对VOS数据集的标签分布等先验知识进行统计分析。此外,针对红外图像的细节不清晰、视频闪烁和行人虚影反射等问题,本文设计了一种基于图像序列的自适应对比度增强方法来重构图像。将不同增强方法生成的图像输入到检测器,通过行人检测性能对比和评估所设计的图像重构方法与其它方法,实验结果表明所设计的方法能够自适应地调节对比度增强幅度,并且在不同检测器上AP平均提高1.94%,优于其他对比方法。2)由于边缘设备的计算资源限制,本文选用YOLOv4 tiny作为基础算法,并展开研究。具体而言,针对K-means聚类不适用于非标准分布的行人数据集问题,本文设计了 IKGSDA聚类方法重新生成先验框,以解决K-means存在的大尺度目标框友好、容易陷入局部最优解和无效先验框分配问题。针对YOLO系列采用的Mosaic数据增强方法虽有助于提高不同尺度和遮挡行人的鲁棒性,但是引入了噪声样本从而导致模型性能下降的问题,本文提出了一种KMPD数据增强方法,包括四种信息保留策略,以提高生成图像的保真度和解决生成图像和原始图像标注准则的二义性。针对密集行人间的类内遮挡问题,本文设计了融合注意力机制、深度可分离卷积的下采样通道的颈部网络和引入排斥力损失等方法,以提高检测器对遮挡行人的检测性能和定位能力。在公开的KAIST、FLIR v2和本文建立的VOS数据集上,本文设计的IGKSDA和KMPD,相对于YOLOv4tiny,在不增加计算复杂度和模型大小的前提下,AP分别提高了 3.61%、1.27%和1.70%。3)为了在实际场景中应用红外行人检测模型,本文实现了行人检测模型的部署,搭建了夜间监控系统。本文选择MaixSense开发板为边缘设备端,并进行模型转换、算子兼容等操作,使得模型可实时地运行在边缘设备上;开发实现低延时的行人监控系统;测试结果证明,搭建的系统能够在压力测试中执行了所有请求,延时小于800毫秒,没有累积延时问题,可以满足实际应用需求。
基于边缘视觉的矿山人员异常行为检测技术研究
这是一篇关于目标检测,异常行为检测,注意力机制,边缘设备的论文, 主要内容为煤炭能源是推动我国国民经济发展的重要支柱。矿山人员的异常行为易引发生产事故,从而影响矿山安全作业。传统依赖人力的视频监管模式效率低下,而基于高性能服务器的视频检测方法存在计算量及网络传输流量过大等问题,难以满足矿山实际需求。因此,本论文深入分析矿山人员异常行为特点,基于边缘设备建立智能化矿山人员安全检测平台,实现对矿山人员异常行为快速感知、实时检测。主要研究内容如下:(1)针对现有行为识别方法计算复杂度高以及检测类型单一的问题,本文提出了一种融合空间特征和时间序列的级联分析算法用于检测矿山人员的异常行为。首先利用基于空间特征的矿山人员异常行为检测方法对监控图像中矿山人员的行为进行分类,然后将行为分类结果输入时序队列中以分析矿山人员的长时间行为。最后根据矿山人员行为的异常程度来判定该人员是否存在异常行为。通过在企业实际监控视频数据上进行实验,验证了本文提出的级联分析算法可以有效地提高矿山人员异常行为检测的准确率。(2)针对YOLO-v7-tiny模型在矿山人员异常行为检测任务中存在模型参数量、计算量大以及在边缘设备上推理速度慢等问题,本文提出了一种更适用于边缘设备的RE-YOLO模型。首先利用Rep Block代替ELAN模块,有效地降低了模型的参数量和计算量,提高了模型的检测速度。接着在骨干网络关键位置嵌入高效通道注意力(Efficient Channel Attention,ECA)模块,提高了模型的检测精度。最后,在边缘设备Jetson Xavier NX和华为Atlas 500小站上进行实验,验证了本文所提出的RE-YOLO模型在计算量、参数量以及推理速度上均优于YOLOv7-tiny,实现了矿山人员异常行为的快速检测。最后,基于上述算法和模型优化策略,本文设计开发了基于边缘视觉的矿山人员异常行为检测系统,并将系统部署在华为Atlas 500智能小站。该系统主要包括监控设备管理模块、实时视频预览模块、矿山人员异常行为报警模块以及矿山人员异常行为信息统计模块,为矿山企业安全生产提供有效保障。该论文有图57幅,表18个,参考文献85篇。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码向导 ，原文地址：https://m.bishedaima.com/lunwen/54501.html
