基于面部特征与深度学习的疲劳检测算法的研究

这是一篇关于疲劳驾驶检测,深度学习,卷积神经网络,面部关键点,Yolov5模型的论文, 主要内容为近年来,我国由疲劳驾驶所导致的汽车交通事故高发,预判驾驶员的疲劳状态并预警,能从根本上控制交通事故的发生。目前已有的疲劳驾驶检测技术中,基于生理特征和车辆行驶信息的方法因接触性强和检测精度低等问题限制了其大规模应用。因此,本文选择采用基于驾驶员面部特征的疲劳驾驶检测技术,并结合深度学习技术在目标检测方面的优势,设计出一套有效的疲劳驾驶检测算法,在此基础上研发一套完整的疲劳检测系统的软硬件平台。研究内容包括以下几个方面:(1)面部检测定位的研究。首先探讨了使用深度卷积神经网络(CNN)进行驾驶员面部检测的工作原理,并比较了目标检测领域内几种常见的算法,如R-CNN、FRCNN、SSD和Yolo等模型之间的特点和优劣,选定了实时性好且准确性较高的Yolo模型来实现驾驶员面部特征的自动检测。针对Yolo V5模型较大、计算成本高等缺点,本文提出了一种基于Mobilenet V3-Yolov5模型的解决方案。该模型采用轻量型网络Mobilenet V3作为主干网络,代替原来较为复杂的Darknet53网络,Mobilenet V3-Yolov5模型具有36MB的体积尺寸和80帧/s的传输速度,准确率接近于原始的Yolov5模型。通过实验验证,该模型更适合在移动设备等计算资源有限的场景中应用。(2)疲劳驾驶测算法的研究。本论文采用了Dlib人脸关键点检测算法和人脸定位技术对驾驶员面部特征进行提取,进而进行疲劳判别参数的选择。通过眼部PERCLOS参数和眨眼次数来进行眼部疲劳的判别,计算嘴巴的疲劳特征点坐标,并结合头部姿态角的检测,以此来进行驾驶员的疲劳判断。本文通过提取和识别驾驶员面部特征,利用加权平均值来进行疲劳判断,同时考虑了头部姿态角和面部特征的影响,运用多维度融合的方法,提高了检测的准确性。本论文所设计的基于面部多特征疲劳检测算法,眨眼频率识别的准确率可达92.00%,打哈欠的识别准确率可以达到93.2%,整体测试的识别准确率可以达到95.5%。(3)系统的软硬件设计与试验的研究。本论文详细描述了疲劳驾驶检测系统的功能组成,包括视频采集、面部特征定位提取、疲劳状态检测、数据存储和管理、实时监控和报警功能等。同时,本论文设计了简单易用的交互界面,并设计开发了后台数据观测程序,可以实现检测端和web端之间的实时交互通信,从而更好地监视驾驶员的实时状态。测试结果表明,疲劳检测模型具有良好的识别精度,系统各个检测模块能够实时准确运作。

基于MPSoC的疲劳驾驶检测软硬件协同设计

这是一篇关于疲劳驾驶检测,CNN,DPU,MPSoC,软硬件协同设计的论文, 主要内容为随着汽车保有量的不断增加,交通事故带来的安全问题日益突出,给人们的生命和财产造成重大威胁。据统计,疲劳驾驶是引发交通事故的主要因素之一,因此设计一款检测准确率高、实时性好、便携式的疲劳驾驶检测系统具有重要意义。本文选用Xilinx ZCU102开发板,其核心芯片为MPSoC系列的xczu9eg-2ffvb1156e,MPSoC芯片结构是FPGA+ARM。ARM精于控制和搭建操作系统,FPGA具有强大的并行处理能力,采用软硬件协同设计思想实现疲劳驾驶检测系统,可以充分发挥ARM和FPGA的各自优点,本文主要工作有:(1)采用Xilinx深度学习处理单元(Deep Learning Processor Unit,DPU)将人脸和人眼特征点检测卷积神经网络(Convolutional neural network,CNN)成功部署到FPGA上。首先使用深度神经网络开发套件(Deep Neural Network Development Kit,DNNDK)工具对CNN模型进行量化与编译,并根据量化编译过程中的问题,调整优化CNN中网络特征。人脸检测选用VGG-SSD网络结构,针对DPU所支持的网络特征有限的问题,将原网络中的归一化层调整为卷积、批量归一化和激活函数网络特征层串联结构,保证和其他卷积层有着相同的规模,从而不改变网络整体结构,增加算法的鲁棒性。人眼特征点检测采用Le Net网络结构,在原网络中添加卷积和下采样层,并将其中的卷积层采用双层卷积结构,增加网络学习能力和收敛速度。采用Caffe架构进行VGG-SSD人脸和Le Net人眼特征点检测算法的实现、训练与测试。对CNN浮点模型采用剪枝与量化,减少模型的资源占用和计算量。(2)硬件部分主要包括人脸和人眼特征点检测DPU IP设计与配置、AXI端口管理器和Display Port接口等模块。其中,DPU IP选择并行度最大的硬件架构,利用双核DPU和深度流水结构,提高数据吞吐量,并采用通道增强加快DPU执行速度。AXI端口管理器是ARM和FPGA之间的计算数据传输通道,Display Port接口是通过网线实现图像的高清显示,并基于DPU IP接口进行端口设置与连线。使用Vivado开发工具综合生成FPGA的硬件描述文件,为搭建嵌入式系统提供硬件驱动信息。(3)软件部分主要包括系统软件环境搭建、操作界面和疲劳特征检测程序设计等。使用Petalinux工具基于硬件描述文件搭建嵌入式系统,修改设备树、编译生成Linux内核和启动文件等,并在该系统下配置DNNDK以及相关运行库。疲劳特征检测主要包括人脸检测IP和人眼特征点检测IP调用等模块。在人脸和人眼特征点检测基础上,通过人眼长宽比判断人眼睁闭状态,并结合PERCLOS准则判断驾驶员疲劳状态。本文采用软硬件设计思想在Xilinx ZCU102平台实现了疲劳驾驶检测系统。实验结果表明,系统具有实时性好、便携性等特点。本文所采用的方法可应用于计算量更大的CNN模型,对将PC机上的目标检测、分类、识别等CNN移植到嵌入式设备具有很好的借鉴意义。

基于MPSoC的疲劳驾驶检测软硬件协同设计

这是一篇关于疲劳驾驶检测,CNN,DPU,MPSoC,软硬件协同设计的论文, 主要内容为随着汽车保有量的不断增加,交通事故带来的安全问题日益突出,给人们的生命和财产造成重大威胁。据统计,疲劳驾驶是引发交通事故的主要因素之一,因此设计一款检测准确率高、实时性好、便携式的疲劳驾驶检测系统具有重要意义。本文选用Xilinx ZCU102开发板,其核心芯片为MPSoC系列的xczu9eg-2ffvb1156e,MPSoC芯片结构是FPGA+ARM。ARM精于控制和搭建操作系统,FPGA具有强大的并行处理能力,采用软硬件协同设计思想实现疲劳驾驶检测系统,可以充分发挥ARM和FPGA的各自优点,本文主要工作有:(1)采用Xilinx深度学习处理单元(Deep Learning Processor Unit,DPU)将人脸和人眼特征点检测卷积神经网络(Convolutional neural network,CNN)成功部署到FPGA上。首先使用深度神经网络开发套件(Deep Neural Network Development Kit,DNNDK)工具对CNN模型进行量化与编译,并根据量化编译过程中的问题,调整优化CNN中网络特征。人脸检测选用VGG-SSD网络结构,针对DPU所支持的网络特征有限的问题,将原网络中的归一化层调整为卷积、批量归一化和激活函数网络特征层串联结构,保证和其他卷积层有着相同的规模,从而不改变网络整体结构,增加算法的鲁棒性。人眼特征点检测采用Le Net网络结构,在原网络中添加卷积和下采样层,并将其中的卷积层采用双层卷积结构,增加网络学习能力和收敛速度。采用Caffe架构进行VGG-SSD人脸和Le Net人眼特征点检测算法的实现、训练与测试。对CNN浮点模型采用剪枝与量化,减少模型的资源占用和计算量。(2)硬件部分主要包括人脸和人眼特征点检测DPU IP设计与配置、AXI端口管理器和Display Port接口等模块。其中,DPU IP选择并行度最大的硬件架构,利用双核DPU和深度流水结构,提高数据吞吐量,并采用通道增强加快DPU执行速度。AXI端口管理器是ARM和FPGA之间的计算数据传输通道,Display Port接口是通过网线实现图像的高清显示,并基于DPU IP接口进行端口设置与连线。使用Vivado开发工具综合生成FPGA的硬件描述文件,为搭建嵌入式系统提供硬件驱动信息。(3)软件部分主要包括系统软件环境搭建、操作界面和疲劳特征检测程序设计等。使用Petalinux工具基于硬件描述文件搭建嵌入式系统,修改设备树、编译生成Linux内核和启动文件等,并在该系统下配置DNNDK以及相关运行库。疲劳特征检测主要包括人脸检测IP和人眼特征点检测IP调用等模块。在人脸和人眼特征点检测基础上,通过人眼长宽比判断人眼睁闭状态,并结合PERCLOS准则判断驾驶员疲劳状态。本文采用软硬件设计思想在Xilinx ZCU102平台实现了疲劳驾驶检测系统。实验结果表明,系统具有实时性好、便携性等特点。本文所采用的方法可应用于计算量更大的CNN模型,对将PC机上的目标检测、分类、识别等CNN移植到嵌入式设备具有很好的借鉴意义。

基于面部多特征融合的疲劳驾驶检测系统设计与实现

这是一篇关于疲劳驾驶检测,YOLOv5s,SimAM,PFLD,Orange Pi 5的论文, 主要内容为随着我国汽车保有量和驾驶员数量的不断增长,因交通事故引起的人员伤亡及财产损失也在逐年上升,而疲劳驾驶已经成为导致交通事故的主要原因之一。因此,研究一种安全可靠的疲劳驾驶检测系统具有重要的理论和实际意义。目前常用的疲劳驾驶检测方法中,基于驾驶员生理特征的检测方法和基于车辆行驶特征的检测方法存在着设备昂贵、易受环境影响、检测指标单一等问题。鉴于以上问题,本文提出了一种基于面部多特征融合的疲劳驾驶检测方法,并结合Orange Pi 5嵌入式开发板构建了一个疲劳驾驶检测及监管系统,该系统能够准确分析驾驶员的疲劳状态,提高驾驶安全性。具体研究内容如下:(1)设计了一种基于SimAM无参注意力机制的轻量化YOLOv5s人脸检测网络。为了让模型能够将更多的注意力聚焦于有效信息区域,进而提高模型的检测精度,在YOLOv5s主干网络尾部添加SimAM无参注意力机制。改进后的网络在Wider Face数据集上的实验结果表明,相较于原始YOLOv5s,在参数量不变的情况下,检测精度提高了2.1%,能够较好的完成人脸检测任务。(2)改进了一种带有辅助子网络的PFLD人脸关键点检测模型。首先,构建了多尺度特征融合模块,以进一步加强模型对大目标及小目标的检测能力。其次,使用Ghost Bottleneck优化了模型主干网络,进一步降低模型参数量,提高检测速度。在WFLW数据集上的实验结果表明,改进后的模型检测速度更快、精度更高,能够满足实际使用需求。(3)研究了一种基于面部多特征融合的疲劳判定方法。首先,通过人脸关键点计算EAR、MAR值,进而提取驾驶员眼部和嘴部特征。同时,采用PFLD辅助子网络获取头部特征。然后,根据上述提取的3类面部特征对眨眼、打哈欠、瞌睡点头等状态进行疲劳阈值设定。最后,得出一种基于面部多特征融合的疲劳判定方法。在YawDD数据集上的实验结果表明,该方法的检测准确率达到了95.3%。(4)设计并实现了疲劳驾驶检测及监管系统。搭建了基于Orange Pi 5嵌入式开发板的疲劳驾驶检测系统,并使用Spring Boot开发了后台监管系统。经过测试实验,本文所设计的疲劳驾驶检测及监管系统能够相对准确地判定疲劳驾驶行为。

基于MPSoC的疲劳驾驶检测软硬件协同设计

这是一篇关于疲劳驾驶检测,CNN,DPU,MPSoC,软硬件协同设计的论文, 主要内容为随着汽车保有量的不断增加,交通事故带来的安全问题日益突出,给人们的生命和财产造成重大威胁。据统计,疲劳驾驶是引发交通事故的主要因素之一,因此设计一款检测准确率高、实时性好、便携式的疲劳驾驶检测系统具有重要意义。本文选用Xilinx ZCU102开发板,其核心芯片为MPSoC系列的xczu9eg-2ffvb1156e,MPSoC芯片结构是FPGA+ARM。ARM精于控制和搭建操作系统,FPGA具有强大的并行处理能力,采用软硬件协同设计思想实现疲劳驾驶检测系统,可以充分发挥ARM和FPGA的各自优点,本文主要工作有:(1)采用Xilinx深度学习处理单元(Deep Learning Processor Unit,DPU)将人脸和人眼特征点检测卷积神经网络(Convolutional neural network,CNN)成功部署到FPGA上。首先使用深度神经网络开发套件(Deep Neural Network Development Kit,DNNDK)工具对CNN模型进行量化与编译,并根据量化编译过程中的问题,调整优化CNN中网络特征。人脸检测选用VGG-SSD网络结构,针对DPU所支持的网络特征有限的问题,将原网络中的归一化层调整为卷积、批量归一化和激活函数网络特征层串联结构,保证和其他卷积层有着相同的规模,从而不改变网络整体结构,增加算法的鲁棒性。人眼特征点检测采用Le Net网络结构,在原网络中添加卷积和下采样层,并将其中的卷积层采用双层卷积结构,增加网络学习能力和收敛速度。采用Caffe架构进行VGG-SSD人脸和Le Net人眼特征点检测算法的实现、训练与测试。对CNN浮点模型采用剪枝与量化,减少模型的资源占用和计算量。(2)硬件部分主要包括人脸和人眼特征点检测DPU IP设计与配置、AXI端口管理器和Display Port接口等模块。其中,DPU IP选择并行度最大的硬件架构,利用双核DPU和深度流水结构,提高数据吞吐量,并采用通道增强加快DPU执行速度。AXI端口管理器是ARM和FPGA之间的计算数据传输通道,Display Port接口是通过网线实现图像的高清显示,并基于DPU IP接口进行端口设置与连线。使用Vivado开发工具综合生成FPGA的硬件描述文件,为搭建嵌入式系统提供硬件驱动信息。(3)软件部分主要包括系统软件环境搭建、操作界面和疲劳特征检测程序设计等。使用Petalinux工具基于硬件描述文件搭建嵌入式系统,修改设备树、编译生成Linux内核和启动文件等,并在该系统下配置DNNDK以及相关运行库。疲劳特征检测主要包括人脸检测IP和人眼特征点检测IP调用等模块。在人脸和人眼特征点检测基础上,通过人眼长宽比判断人眼睁闭状态,并结合PERCLOS准则判断驾驶员疲劳状态。本文采用软硬件设计思想在Xilinx ZCU102平台实现了疲劳驾驶检测系统。实验结果表明,系统具有实时性好、便携性等特点。本文所采用的方法可应用于计算量更大的CNN模型,对将PC机上的目标检测、分类、识别等CNN移植到嵌入式设备具有很好的借鉴意义。

基于面部多特征融合的疲劳驾驶检测系统设计与实现

这是一篇关于疲劳驾驶检测,YOLOv5s,SimAM,PFLD,Orange Pi 5的论文, 主要内容为随着我国汽车保有量和驾驶员数量的不断增长,因交通事故引起的人员伤亡及财产损失也在逐年上升,而疲劳驾驶已经成为导致交通事故的主要原因之一。因此,研究一种安全可靠的疲劳驾驶检测系统具有重要的理论和实际意义。目前常用的疲劳驾驶检测方法中,基于驾驶员生理特征的检测方法和基于车辆行驶特征的检测方法存在着设备昂贵、易受环境影响、检测指标单一等问题。鉴于以上问题,本文提出了一种基于面部多特征融合的疲劳驾驶检测方法,并结合Orange Pi 5嵌入式开发板构建了一个疲劳驾驶检测及监管系统,该系统能够准确分析驾驶员的疲劳状态,提高驾驶安全性。具体研究内容如下:(1)设计了一种基于SimAM无参注意力机制的轻量化YOLOv5s人脸检测网络。为了让模型能够将更多的注意力聚焦于有效信息区域,进而提高模型的检测精度,在YOLOv5s主干网络尾部添加SimAM无参注意力机制。改进后的网络在Wider Face数据集上的实验结果表明,相较于原始YOLOv5s,在参数量不变的情况下,检测精度提高了2.1%,能够较好的完成人脸检测任务。(2)改进了一种带有辅助子网络的PFLD人脸关键点检测模型。首先,构建了多尺度特征融合模块,以进一步加强模型对大目标及小目标的检测能力。其次,使用Ghost Bottleneck优化了模型主干网络,进一步降低模型参数量,提高检测速度。在WFLW数据集上的实验结果表明,改进后的模型检测速度更快、精度更高,能够满足实际使用需求。(3)研究了一种基于面部多特征融合的疲劳判定方法。首先,通过人脸关键点计算EAR、MAR值,进而提取驾驶员眼部和嘴部特征。同时,采用PFLD辅助子网络获取头部特征。然后,根据上述提取的3类面部特征对眨眼、打哈欠、瞌睡点头等状态进行疲劳阈值设定。最后,得出一种基于面部多特征融合的疲劳判定方法。在YawDD数据集上的实验结果表明,该方法的检测准确率达到了95.3%。(4)设计并实现了疲劳驾驶检测及监管系统。搭建了基于Orange Pi 5嵌入式开发板的疲劳驾驶检测系统,并使用Spring Boot开发了后台监管系统。经过测试实验,本文所设计的疲劳驾驶检测及监管系统能够相对准确地判定疲劳驾驶行为。

汽车安全监控系统研究

这是一篇关于疲劳驾驶检测,轻量级,人脸检测,人脸关键点检测,车辆参数监测的论文, 主要内容为随着交通事故频发导致人员伤亡数量逐年上升,社会对汽车安全和道路交通安全的关注日益提高。据统计数据显示,由驾驶员和设备因素造成的交通事故高达72%。为提高驾驶安全性、保证汽车安全并减少交通事故的发生,研发一款具有实际应用价值的嵌入式车载汽车安全监控系统尤为重要。本课题旨在有效减少驾驶员与设备因素引起的交通事故,以Jetson TX2作为系统核心,采用Jetson TX2+MCU架构,通过软硬件协同的设计方式,设计并实现一个将驾驶员疲劳检测和整车参数监测集成于一体的嵌入式系统。本文通过对比分析国内外现有的常用疲劳检测方法,采用基于驾驶员面部特征的疲劳驾驶检测方法来进行疲劳预警。在此基础上,本文提出了一种仅获取驾驶员面部特征提升运算速度的优化方法,利用多任务卷积神经网络模型简单高效的优势,通过改变最小检测人脸尺寸来减少运行时间,排除其他人脸干扰;同时删除P-Net、R-Net和O-Net三级网络的人脸特征点提取部分,提高算法运行速率,实现不同光照遮挡下的人脸检测,最终优化后的模型检测精度可达98%。其次,为满足嵌入式平台精确、高效定位面部特征点的需求,本文提出一种用于标记人脸68个关键点位置坐标的超轻量人脸关键点检测算法(AULFLD),设置可调的模型宽度因子,用于平衡检测精度和模型大小。在宽度因子为0.25X的情况下,算法模型大小仅为420 Kb,推理时间仅为5.8 ms。最后,通过实验选取不同的特征阈值,实现对驾驶员眼睛和嘴巴状态的准确识别,并利用连续闭眼时间、打哈欠频率、PERCLOS值等多个参数来判断驾驶员的疲劳状态并给出预警信号。本文完成了Jetson TX2和MCU嵌入式环境的软硬件设计和实验平台搭建。通过器件选型,设计并制作实现了驾驶员疲劳检测和汽车参数监测的硬件部分。在软件设计部分,实现接收和解析CAN数据帧,采集压力、油位等模拟信号和驾驶员疲劳检测的功能。采用Py Side2进行界面设计,实现多个功能同时显示,并通过预警模块实时提醒驾驶员安全驾驶。本文通过对整个汽车安全监控系统进行联合测试,验证了本系统的可行性、鲁棒性和实时性,从而证明其满足实际车载系统的使用需求。

汽车安全监控系统研究

这是一篇关于疲劳驾驶检测,轻量级,人脸检测,人脸关键点检测,车辆参数监测的论文, 主要内容为随着交通事故频发导致人员伤亡数量逐年上升,社会对汽车安全和道路交通安全的关注日益提高。据统计数据显示,由驾驶员和设备因素造成的交通事故高达72%。为提高驾驶安全性、保证汽车安全并减少交通事故的发生,研发一款具有实际应用价值的嵌入式车载汽车安全监控系统尤为重要。本课题旨在有效减少驾驶员与设备因素引起的交通事故,以Jetson TX2作为系统核心,采用Jetson TX2+MCU架构,通过软硬件协同的设计方式,设计并实现一个将驾驶员疲劳检测和整车参数监测集成于一体的嵌入式系统。本文通过对比分析国内外现有的常用疲劳检测方法,采用基于驾驶员面部特征的疲劳驾驶检测方法来进行疲劳预警。在此基础上,本文提出了一种仅获取驾驶员面部特征提升运算速度的优化方法,利用多任务卷积神经网络模型简单高效的优势,通过改变最小检测人脸尺寸来减少运行时间,排除其他人脸干扰;同时删除P-Net、R-Net和O-Net三级网络的人脸特征点提取部分,提高算法运行速率,实现不同光照遮挡下的人脸检测,最终优化后的模型检测精度可达98%。其次,为满足嵌入式平台精确、高效定位面部特征点的需求,本文提出一种用于标记人脸68个关键点位置坐标的超轻量人脸关键点检测算法(AULFLD),设置可调的模型宽度因子,用于平衡检测精度和模型大小。在宽度因子为0.25X的情况下,算法模型大小仅为420 Kb,推理时间仅为5.8 ms。最后,通过实验选取不同的特征阈值,实现对驾驶员眼睛和嘴巴状态的准确识别,并利用连续闭眼时间、打哈欠频率、PERCLOS值等多个参数来判断驾驶员的疲劳状态并给出预警信号。本文完成了Jetson TX2和MCU嵌入式环境的软硬件设计和实验平台搭建。通过器件选型,设计并制作实现了驾驶员疲劳检测和汽车参数监测的硬件部分。在软件设计部分,实现接收和解析CAN数据帧,采集压力、油位等模拟信号和驾驶员疲劳检测的功能。采用Py Side2进行界面设计,实现多个功能同时显示,并通过预警模块实时提醒驾驶员安全驾驶。本文通过对整个汽车安全监控系统进行联合测试,验证了本系统的可行性、鲁棒性和实时性,从而证明其满足实际车载系统的使用需求。

基于深度学习的疲劳与分心驾驶检测方法研究

这是一篇关于深度学习,疲劳驾驶检测,分心驾驶检测,YOLOv5,注意力机制的论文, 主要内容为近年来车辆增多,道路交通事故逐年增加,生命财产安全受到威胁。调查发现,驾驶员的疲劳和分心是引发道路交通事故的主要原因。随着计算机视觉技术的迅速发展,模型的不断迭代,计算机视觉技术被广泛用于解决各种问题。基于计算机视觉的检测方法凭借较高的准确率和较低的部署难度,成为疲劳和分心驾驶检测的主流方法。本文主要研究基于计算机视觉技术的疲劳驾驶和分心驾驶的检测方法,针对检测模型在实时性和准确率两方面存在的问题,制定相关改进方案。基于YOLOv5的目标检测方法,提出ME-YOLOv5疲劳驾驶检测模型。具体改进有以下几点:结合待检测目标的尺寸特点,进行模型检测规格尺度优化,通过移除模型中针对大目标的检测层,使模型更倾向于小目标的检测;将轻量级网络Mobile Netv3用于特征的提取,加快特征提取速度;引入大卷积核的空间注意力机制,通过特征重标定增强网络对重要特征的提取,同时弥补了主干网络感受野较小的缺陷,拓宽了特征的捕获范围;引入双向金字塔结构,完成多层级特征图的自适应融合,丰富特征表达。ME-YOLOv5检测模型在数据集上取得95.85%的m AP,检测速度132FPS。针对分心驾驶检测,本文将基于Res Net50图像分类方法,搭建Res Net50-PSAM分心驾驶检测模型,识别喝水、接听电话等9类常见的分心行为。针对分类准确率和检测速度提出改进方案:驾驶员手部、面部区域包含了有助于正确分类的重要特征,引入CBAM注意力机制中的SAM模块并调整其结构,提出PSAM模块,将特征图分成若干块,获取表示每一块的重要性的权重,使用Tanh激活函数放大块间的差异性,凸显特征图中手部、头部所在区域;调整交叉熵损失函数,平衡样本产生的损失占比,减小容易分类的样本和错误标注的样本产生的损失;采用结构化剪枝完成模型的轻量化,提高模型的实时性。最后,Res Net50-PSAM在State Farm数据集上取得95.01%的分类准确率,在Res Net50的基础上减少了25%的参数量,检测速度加快14FPS。本文搭建疲劳驾驶和分心驾驶检测系统,结合本文ME-YOLOv5疲劳驾驶检测模型和Res Net50-PSAM分心驾驶检测模型,实现检测及结果的可视化,在真实驾驶室内完成疲劳驾驶检测和分心驾驶检测的仿真测试,在疲劳驾驶检测中取得92.1%的检出率,在分心驾驶检测中,可以检出97.3%的喝水行为,检测帧率稳定在每秒50帧以上,满足一定的实用性需求。

基于面部多特征融合的疲劳驾驶检测系统设计与实现

这是一篇关于疲劳驾驶检测,YOLOv5s,SimAM,PFLD,Orange Pi 5的论文, 主要内容为随着我国汽车保有量和驾驶员数量的不断增长,因交通事故引起的人员伤亡及财产损失也在逐年上升,而疲劳驾驶已经成为导致交通事故的主要原因之一。因此,研究一种安全可靠的疲劳驾驶检测系统具有重要的理论和实际意义。目前常用的疲劳驾驶检测方法中,基于驾驶员生理特征的检测方法和基于车辆行驶特征的检测方法存在着设备昂贵、易受环境影响、检测指标单一等问题。鉴于以上问题,本文提出了一种基于面部多特征融合的疲劳驾驶检测方法,并结合Orange Pi 5嵌入式开发板构建了一个疲劳驾驶检测及监管系统,该系统能够准确分析驾驶员的疲劳状态,提高驾驶安全性。具体研究内容如下:(1)设计了一种基于SimAM无参注意力机制的轻量化YOLOv5s人脸检测网络。为了让模型能够将更多的注意力聚焦于有效信息区域,进而提高模型的检测精度,在YOLOv5s主干网络尾部添加SimAM无参注意力机制。改进后的网络在Wider Face数据集上的实验结果表明,相较于原始YOLOv5s,在参数量不变的情况下,检测精度提高了2.1%,能够较好的完成人脸检测任务。(2)改进了一种带有辅助子网络的PFLD人脸关键点检测模型。首先,构建了多尺度特征融合模块,以进一步加强模型对大目标及小目标的检测能力。其次,使用Ghost Bottleneck优化了模型主干网络,进一步降低模型参数量,提高检测速度。在WFLW数据集上的实验结果表明,改进后的模型检测速度更快、精度更高,能够满足实际使用需求。(3)研究了一种基于面部多特征融合的疲劳判定方法。首先,通过人脸关键点计算EAR、MAR值,进而提取驾驶员眼部和嘴部特征。同时,采用PFLD辅助子网络获取头部特征。然后,根据上述提取的3类面部特征对眨眼、打哈欠、瞌睡点头等状态进行疲劳阈值设定。最后,得出一种基于面部多特征融合的疲劳判定方法。在YawDD数据集上的实验结果表明,该方法的检测准确率达到了95.3%。(4)设计并实现了疲劳驾驶检测及监管系统。搭建了基于Orange Pi 5嵌入式开发板的疲劳驾驶检测系统,并使用Spring Boot开发了后台监管系统。经过测试实验,本文所设计的疲劳驾驶检测及监管系统能够相对准确地判定疲劳驾驶行为。

基于卷积神经网络的疲劳驾驶检测及嵌入式实现

这是一篇关于深度学习,人脸检测,疲劳驾驶检测,嵌入式实现的论文, 主要内容为疲劳驾驶会严重危害道路交通安全,现已和超载、超速并列为交通事故的三大成因。为有效预防疲劳驾驶的发生,本文采用基于卷积神经网络的疲劳驾驶检测方法,主要研究内容如下:(1)研究D-YOLOv4(Dense-YOLOv4)人脸检测算法。为加快检测速度,解决人脸检测中人脸形状不规则、尺寸不一致等问题,在YOLOv4模型的基础上改进:首先,在主干网络中增加密集卷积网络Dense Net(Dense Convolutional Network),优化特征传递和复用,提高检测精度;其次,为进一步提升模型性能,在模型的主干和颈部新增两个残差块,加强特征提取,采用空间金字塔池化SPP(Spatial Pyramid Pooling),增强感受野,显著分离上下文特征;最后,在路径聚合网络PANet(Path Aggregation Network)加入改进的SSH(Single Stage Headless)人脸检测模块,SSH模块中采用轻量级卷积块GSConv,大幅减少模型的参数量和计算量,为模型的嵌入式实现提供基础。实验表明,D-YOLOv4相比于YOLOv4,模型缩小约41.1%,平均精度提高约4%。(2)研究多指标融合的疲劳驾驶检测算法。首先,通过Dlib算法提取人脸关键点,根据关键点坐标计算出不同状态下眼嘴的特征向量,识别眼嘴的开闭状态;其次,通过计算单位时间内眼睛闭合时间占比与打哈欠次数,得出疲劳驾驶状态参数;最后,与疲劳驾驶状态阈值比较,判断驾驶员是否处于疲劳驾驶状态。(3)研究D-YOLOv4疲劳驾驶检测算法在嵌入式平台上的应用。将验证可行的疲劳驾驶检测模型D-YOLOv4部署到NVIDIA Jetson TX2开发板中。首先,通过基于Tensor RT的算法优化和推理加速,将D-YOLOv4模型部署到Jetson TX2上。其次,将D-YOLOv4与其他网络模型在Jetson TX2上进行性能对比。最后,在不同光照强度和眼镜遮挡情况下,将D-YOLOv4与YOLOv4进行对比实验。实验结果表明,在NUAA数据集上,D-YOLOv4的检测速度比YOLOv4、Mobile Net V3和YOLOv5分别加快了38.1%、6.5%和19.8%;在不同光照条件下,D-YOLOv4的疲劳驾驶平均检测准确率比YOLOv4提高了3.8%;在眼镜遮挡下的平均准确率比YOLOv4提高了3.7%。证明D-YOLOv4模型适合嵌入式实现。

基于MPSoC的疲劳驾驶检测软硬件协同设计

这是一篇关于疲劳驾驶检测,CNN,DPU,MPSoC,软硬件协同设计的论文, 主要内容为随着汽车保有量的不断增加,交通事故带来的安全问题日益突出,给人们的生命和财产造成重大威胁。据统计,疲劳驾驶是引发交通事故的主要因素之一,因此设计一款检测准确率高、实时性好、便携式的疲劳驾驶检测系统具有重要意义。本文选用Xilinx ZCU102开发板,其核心芯片为MPSoC系列的xczu9eg-2ffvb1156e,MPSoC芯片结构是FPGA+ARM。ARM精于控制和搭建操作系统,FPGA具有强大的并行处理能力,采用软硬件协同设计思想实现疲劳驾驶检测系统,可以充分发挥ARM和FPGA的各自优点,本文主要工作有:(1)采用Xilinx深度学习处理单元(Deep Learning Processor Unit,DPU)将人脸和人眼特征点检测卷积神经网络(Convolutional neural network,CNN)成功部署到FPGA上。首先使用深度神经网络开发套件(Deep Neural Network Development Kit,DNNDK)工具对CNN模型进行量化与编译,并根据量化编译过程中的问题,调整优化CNN中网络特征。人脸检测选用VGG-SSD网络结构,针对DPU所支持的网络特征有限的问题,将原网络中的归一化层调整为卷积、批量归一化和激活函数网络特征层串联结构,保证和其他卷积层有着相同的规模,从而不改变网络整体结构,增加算法的鲁棒性。人眼特征点检测采用Le Net网络结构,在原网络中添加卷积和下采样层,并将其中的卷积层采用双层卷积结构,增加网络学习能力和收敛速度。采用Caffe架构进行VGG-SSD人脸和Le Net人眼特征点检测算法的实现、训练与测试。对CNN浮点模型采用剪枝与量化,减少模型的资源占用和计算量。(2)硬件部分主要包括人脸和人眼特征点检测DPU IP设计与配置、AXI端口管理器和Display Port接口等模块。其中,DPU IP选择并行度最大的硬件架构,利用双核DPU和深度流水结构,提高数据吞吐量,并采用通道增强加快DPU执行速度。AXI端口管理器是ARM和FPGA之间的计算数据传输通道,Display Port接口是通过网线实现图像的高清显示,并基于DPU IP接口进行端口设置与连线。使用Vivado开发工具综合生成FPGA的硬件描述文件,为搭建嵌入式系统提供硬件驱动信息。(3)软件部分主要包括系统软件环境搭建、操作界面和疲劳特征检测程序设计等。使用Petalinux工具基于硬件描述文件搭建嵌入式系统,修改设备树、编译生成Linux内核和启动文件等,并在该系统下配置DNNDK以及相关运行库。疲劳特征检测主要包括人脸检测IP和人眼特征点检测IP调用等模块。在人脸和人眼特征点检测基础上,通过人眼长宽比判断人眼睁闭状态,并结合PERCLOS准则判断驾驶员疲劳状态。本文采用软硬件设计思想在Xilinx ZCU102平台实现了疲劳驾驶检测系统。实验结果表明,系统具有实时性好、便携性等特点。本文所采用的方法可应用于计算量更大的CNN模型,对将PC机上的目标检测、分类、识别等CNN移植到嵌入式设备具有很好的借鉴意义。