基于深度神经网络的情绪识别研究

这是一篇关于情绪识别,文本,脑电,多模态融合,深度学习的论文, 主要内容为情绪识别研究对于理解掌握人体的情绪状态至关重要,目前已在人机交互、远程教育以及医疗保健等领域得到广泛应用。随着情绪相关信号如文本、脑电等采集设备的发展,如何有效提取信号的情绪特征,提高情绪识别准确率是亟须解决的研究问题。本文提出基于文本、脑电和多模态融合的情绪识别研究模型,改进不同场景下的情绪识别方法模型,设计实现基于情绪监测的高血压管理系统。论文工作内容如下:1.针对文本情绪识别词嵌入缺乏句子上下文信息以及模型忽略子句特征等问题,提出基于子句特征的实体属性依赖情感分析方法,通过子句分割和ELMo词嵌入模型实现文本数据预处理,利用Bi LSTM模型结合实体和子句注意力机制实现句子特征提取,采用Softmax层实现句子目标实体情感分类。该模型通过Sem Eval2014 task4数据集验证其有效性,针对Laptop和Resaurant的分类精度分别达74.32%和79.73%。2.针对脑电情绪识别电极相邻通道空间特征丢失问题,提出基于时空核心块的卷积神经网络模型,运用卷积神经网络在特征提取过程中引入时空核心块,同时考虑数据时间维度和电极间空间特征,将时空特征与全连接层连接实现脑电信号的情绪分类。该模型通过DEAP数据集验证有效性,针对Arousal和Valence的分类精度分别达87.56%和88.61%。3.针对多模态融合情绪识别忽略情绪个体表达特异性、不同模态特征融合困难等问题,提出基于双峰深度自动编码器的多模态情绪识别模型,融合脑电、肌电、眼电、皮肤传导率等生理信号和人口统计学的文本数据,分别提取信号的深层抽象特征和统计学特征,整合人口统计学特征输入双峰深度自动编码器实现多模态融合特征提取,最终采用支持向量机实现人体情绪分类。该模型通过DEAP数据集验证有效性,针对Arousal和Valence的分类精度分别达90.21%和91.82%,四分类分类精度达88.20%。4.设计并实现基于情绪监测的高血压管理系统,使用My SQL数据库,基于Spring Boot、Mybatis等框架研发,系统具备高血压患者的数据采集、数据展示、情绪识别、情绪干预、患者管理、统计分析以及系统管理等功能模块,实现高血压患者数据风险实时监测以及情绪管理,可以有效降低患者高血压发病风险。

基于卷积循环神经网络的脑电信号情绪识别方法研究

这是一篇关于脑电信号,情绪识别,循环神经网络,卷积神经网络,深度残差收缩网络的论文, 主要内容为情感计算是人机交互中重要的一环,随着人工智能飞速的发展,很多科研人员加入到情感识别领域的研究,情感识别主要从生理信号和非生理信号两方面研究,在各种生理信号中,脑电信号和情绪的联系较为紧密,且不可主观控制,更能反应人的情绪。该文着重研究基于卷积循环神经网络的脑电信号的情绪识别,具体研究内容如下:首先,研究基于注意力机制卷积神经网络(SKNet Inception Convolution Neutal Network,SKICNN)模型。该模型由SKNet模块和Inception模块构成,模型的输入是由不同频带的微分熵特征构造的三维立体信号。通过实验验证了多频段组合比少频段组合准确率高,并且使用基线信号能够提高准确率,同时验证了steam中使用1×1、4×1、1×4和4×4卷积核准确率最高。SKICNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为94.36%,效价准确率为93.41%。其次,研究基于4D卷积循环神经网络(4D EEGNet Recurrent Neural Network,4DEEGRNN)模型。该模型由EEGNet模块和Bi LSTM模块构成,4D特征是采用0.5秒的窗口分割脑电信号,并且计算四个频带的微分熵特征构成的三维立体信号作为模型的输入。通过构造对比模型,分析不同的输入对整体结果的影响,以及不同参数设置对整体结果的影响。通过实验发现以9×9×4作为输入,丢失方式为Spatial Dropout2D,丢失率为0.1的模型K在所有模型中效果最好。4D-EEGRNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为95.97%,效价维准确率为95.23%。最后,提出基于2D-3D卷积神经网络(2D 3D Convolution Neural Network,2-3DCNN)模型。该模型由二维卷积、三维卷积、SE-Res Net模块、Xception网络和深度残差收缩网络构成,模型的输入是原始脑电信号。通过实验分析了深度残差收缩网络在模型中不同位置对最终结果的影响,发现深度残差收缩网络与SERes Net在同一支路的情况下准确率最高。2-3DCNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为97.19%,效价维准确率为97.58%。

卷积神经网络人脸识别技术在线上考试中的应用研究

这是一篇关于卷积神经网络,人脸识别,情绪识别,深度学习,在线考试的论文, 主要内容为在近几年,随着信息技术的发展和新冠疫情的影响,在线考试被运用到了许多地方,例如课堂检测、研究生复试等方面。在线考试在为考生展现一种新颖的考试方式的同时,也弥补了考试过程中时间与空间的不足。不过,该模式依旧存在着欠缺。当前的发展趋势下,人脸识别技术已经广泛应用于考勤、安保等领域,但人脸识别技术在线上考试中仍然存在替考、抄袭等现象难以识别的问题和不足。本文针对线上检测学生考试行为和状态的问题,通过对考生的情绪和表情进行有效感知,人脸识别为切入点,为在线考试评测提供了新的视角,为防止考生在考试阶段的一些作弊行为、感知情感变化提供了技术支撑。本文需要完成的工作如下:本文首先对人脸识别在国内外的研究进展进行分析阐述,从四个方面介绍对卷积神经网络进行介绍,分为卷积、神经网络、卷积神经网络与PyTorch深度学习框架四部分。为了更好完成人脸检测、人脸识别和情绪识别引入卷积神经网络,并探究合适的损失函数,主要对人脸检测算法、人脸识别算法、情绪识别算法进行改进和测试。因此,选择MTCNN网络开展人脸检测工作,并对人脸特征点进行定位,而且运用Open CV仿射变换对人脸进行矫正对齐保证图像规格一致,进而提高人脸检测精度;以Res Net18残差网络作为主干网络,完成人脸识别中的人脸特征提取,选择Insight Face损失函数与主干网络相结合,达到提高人脸识别准确率的目的。针对类内表情差别大、类间表情具极高相似性是情绪识别方面需要解决的关键问题,本文在Res Net18网络基础上加权融合Center Loss和Softmax以改进情绪识别算法,在FER2013测试集的训练准确率达到了73.45%,与相同训练条件下的其他算法相比准确率最高。将人脸检测、人脸识别和情绪识别算法结合,创建面部信息感知模型应用于在线考试系统,利用人脸识别验证考生信息,通过表情识别对考生在考试中的情绪变化进行记录。在线考试的应用,提高了在线考试监管的有效性,降低了替考现象,解决了考试中无法感知考生情绪变化的问题,有利于教师根据以上信息改进教学方式和教学任务,对提高考生学习积极性有重要意义。本文的在线考试辅助检测系统以B/S为架构,结合面部信息深度感知模型,完成在线考试中的人脸检测、人脸识别和表情分析,将统计结果以可视化的方式展示并能自动预警,柱状图或者折线图的方式呈现,如果某场考试出现的负面情绪和行为较多,监考老师会出现提醒。最后,对线上考试系统进行测试,测试结果表明,利用卷积神经网络的人脸识别技术使人脸识别准确率和识别速度超过了预期目标,实现了卷积神经网络人脸识别技术在线上考试中的应用。

脑电信号非线性特征的情绪识别研究

这是一篇关于情绪识别,脑电信号,眼动信号,胶囊网络,非线性特征的论文, 主要内容为情绪识别技术是一门希望机器理解人类某种情绪状态进而帮助人类完成某种目的的涉及多个领域以及多个学科交叉性研究技术,得益于时代科技水平的持续更新以及获取数据设备的不断迭代,基于情绪识别的人机互动已经广泛应用于虚拟现实、辅助驾驶以及游戏开发和医疗诊断等多个领域。用于情绪识别的信号模态可以分为非生理信号模态和生理信号模态两类,(1)非生理信号模态包括面部表情(微表情)、眼动、语音和姿势等与情绪密切相关亦或是由情绪所产生结果的外在信号;(2)生理信号模态包括脑电信号、心电信号以及血容量脉冲信号和心率变异信号等不受主观意识控制的内在信号。使用低成本设备可便捷获取面部表情、语音和姿势等外在信号,然而研究发现这些外在信号易受个体误导性产生进而隐藏其真实情绪。眼动信号包括注视、扫视以及眨眼和瞳孔直径等信息,虽然获取成本较高但以一种自然的方式观察个体行为,是一种非侵入且准确的情绪研究数据源,可将其嵌入到虚拟现实等可穿戴设备。在多种生理信号中的脑电信号由于具有反应人类真实情绪而不受主观意识隐藏的优势以及脑电信号采集技术的迅速发展使其已被广泛应用于情绪识别研究。本文使用脑电信号与眼动信号两种模态且基于机器学习和深度学习相关理论,基于混沌相空间重构理论研究脑电信号与情绪之间的内在联系,从理论上验证脑电信号中包含可用于情绪识别分类的非线性特征。为了进一步提高脑电信号的情绪识别精度提出一种新型手工特征。基于卷积神经网络和胶囊网络通过异构脑电信号与眼动信号两种模态提出一种C-Caps Net情绪识别模型架构用于提取脑电信号与眼动信号的深度特征从而实现情绪识别,解决手工特征精度高但泛化能力低的问题。具体研究内容如下:(1)针对脑电信号时序非线性以及Hurst熵反映非线性系统长期记忆性,基于变分模态分解方法强鲁棒性提出一种自适应Hurst指数变分模态分解方法,实现脑电信号降噪和脑电信号非线性特征提取,并使用相空间重构理论还原脑电信号与情绪内在联系的动力学结构,从理论上验证脑电信号与情绪非线性特征的内在联系。(2)针对脑电信号单个特征难以继续提升情绪识别准确率和多模态融合忽视特征与情绪之间相关性的问题,基于多尺度特征提取和深度卷积因子以及非线性排列熵提出一种深度卷积排列熵作为脑电信号的新型非线性手工特征。同时针对构建脑电信号深度卷积排列熵非线性特征向量维数过高的问题,重新定义情绪状态距离的局部邻域构造,改进线性局部切线空间排列降维算法。最后提出一种基于深度卷积排列熵和改进线性局部切线空间排列降维算法的脑电信号非线性手工特征提取方法,使用DEAP数据集进一步提高脑电信号手工特征情绪识别精度。(3)针对手工特征提取精度高但泛化能力低以及使用一种模态情绪识别结果不可靠的问题,通过充分利用脑电信号空间信息和时间信息异构脑电和眼动两种模态,基于卷积神经网络和胶囊网络提出一种双模态情绪识别模型C-Caps Net用于提取脑电信号与眼动信号深度特征从而实现情绪识别。首先采集并预处理脑电信号和眼动信号两种模态,去除两种模态信号噪声的同时提取脑电信号时空特征以及眼动信号特征。由于卷积操作处理不同时间位置的数据模式非常有效,因此卷积神经网络是目前最常用的分类方法,但同时丢失了数据路由过程和位置信息以及姿态信息。首先使用卷积操作提取脑电信号和眼动信号的底层信息,特征融合后重新异构成一个包含脑电信号和眼动信号特征的底层胶囊,最后所有底层胶囊共同决定了情绪胶囊得到情绪识别分类结果,使用SEED IV多模态数据集上分别基于5-fold和LOO交叉验证方法验证情绪识别性能。

车联网场景下面向驾驶安全的情绪识别研究

这是一篇关于人脸检测,多尺度特征融合,感兴趣区域,情绪识别,端边云协同的论文, 主要内容为以行车安全为导向的智能检测技术,已成为车联网领域新一轮科技改革的主要发展方向。驾驶员面部检测及情绪识别系统作为面向行车安全的重要组成部分,对于提高安全驾驶具有很高的推动价值。因此,研究高效且精准的驾驶员面部检测及情绪识别系统,已成为车联网领域的热门研究方向。虽然国内外研究人员在此方向上已经取得了非常多的研究进展,但仍然存在许多痛点问题有待解决。针对各类问题,本文主要做出如下几方面的工作:(1)针对特征信息融合不充分导致多尺寸人脸检测精度低的问题,本文提出一种改进MTCNN(Multi-task Convolutional Neural Network)的人脸检测模型。首先根据缩放因子系数将输入图像进行降采样搭建图像金字塔,其次利用深度可分离卷积代替MTCNN中的普通卷积,使得网络更加轻量化,有利于车联网场景的模型部署。然后使用改进的多尺度特征融合模块对多层特征进行融合,将浅层网络和深层网络的特征信息进行交互传递,增加模型的感受野。最后将面部特征点定位任务的权重进行了优化,使得网络能够对面部区域的特征点进行更加精确的定位,从而为后续的驾驶员情绪识别任务奠定稳定的基础。通过消融实验和多模型对比实验证明,本章提出的人脸检测算法具有更优的检测效果和更好的鲁棒性。(2)针对非关键特征信息冗余导致情绪识别精度低的问题,本文提出一种深度可分离和感兴趣区域的情绪识别模型(Deep Separable and Regions of Interest Network,DSRIN)。该模型基于人脸关键特征点的位置坐标,进行人脸对齐和感兴趣区域的特征拼接,剔除面部非关键特征信息。利用深度可分离卷积、批归一化层、激活函数层等搭建骨干网络,融合瓶颈残差模块控制特征维度,并选取h-swish作为激活函数。实验结果表明,相对于主流的情绪识别模型,本文提出的模型更加轻量,并且在精确度、召回率和F1指数等性能指标上表现更优。(3)针对情绪识别系统任务处理方式数据量大,计算时延高的问题,本文提出一种端边云协同的驾驶员情绪识别系统(End-Edge-Cloud Network,EEC-Net)。首先该系统在车载终端侧部署基于视频流关键帧的图像压缩算法,通过采集设备获取面部视频流,利用帧间差分算法提取视频流中的关键帧并进行无损压缩重构。将重构完成后的数据轻量交付至边缘计算节点中的模型进行消极情绪监控,云端执行模型在线训练,从而动态调整边缘模型的操作参数。仿真结果表明,EEC-Net能够有效提取视频流关键帧并无损压缩数据,实现轻量级数据交付。并且相对于传统的集中式处理方式,EEC-Net能够在保证情绪识别任务稳定的前提下,大幅减少整体系统中计算资源和存储资源的消耗,进一步确保系统的时效性。

基于二值神经网络的面部情绪识别方法及FPGA验证

这是一篇关于情绪识别,二值神经网络,FPGA,注意力机制的论文, 主要内容为面部情绪识别技术(Facial Emotion Recognition,FER)是当前人机交互领域的重要研究课题之一。许多研究表明,使用卷积神经网络(Convolutional NeuralNetworks,CNN)进行面部情绪识别在该领域表现出优异的性能。为了获得FER任务中的高分类精度,这些CNN模型通常具有参数量大、计算复杂等特点,然而常见嵌入式设备的运算与存储资源是有限的。FER技术的复杂模型与设备有限的资源之间存在着严重的矛盾,这限制了FER技术的边缘部署应用。针对上述问题,本文根据二值神经网络(Binary neural network,BNN)低内存占用、快速运算等特点,设计了一种基于BNN的面部情绪识别算法,并将所设计算法移植到FPGA开发板进行验证分析。其中主要工作如下:(1)针对面部情绪识别数据集样本数量少、各类别样本分布不均衡的问题,对四类经典的面部情绪识别数据集进行有监督方式的数据增强,使用“VL+LBRROT”算法组合的方式实现了对人脸区域的准确截取并赋予图像旋转不变性,增强网络在执行FER任务中的鲁棒性。(2)本文以ResNet-20为基准搭建二值神经网络,针对二值特征在激活函数运算后语义信息严重缺失的问题,设计了一种添加有偏可学习参数的Rh-swish激活函数,该函数通过动态调整特征寻找最优分布从而较为完整的保留原有特征中的语义信息。(3)针对二值神经网络对面部样本数据中关键区域检测能力不足的问题,本文在网络结构中添加了基于分数卷积优化的注意力机制模块,牺牲较少计算资源的前提下在CK+、FER2013、JAFFE和Oulu-CASIA四种经典面部情绪数据集的测试准确率达到99.47%、75.62%、98.51%和93.85%。(4)为了验证所设计算法在边缘场景下的实际性能,本文结合PYNQ框架便捷开发的特性成功将所设计算法部署于MZ7100开发板,最终在开发板验证单帧推理速度为36.25ms,在CK+数据集上识别准确率达到95.1%,系统总功耗为2.65w。实验结果表明,所设计算法经过硬件移植后仍能保证较高准确率,满足了FER技术在边缘场景下的应用需求。

车联网场景下面向驾驶安全的情绪识别研究

这是一篇关于人脸检测,多尺度特征融合,感兴趣区域,情绪识别,端边云协同的论文, 主要内容为以行车安全为导向的智能检测技术,已成为车联网领域新一轮科技改革的主要发展方向。驾驶员面部检测及情绪识别系统作为面向行车安全的重要组成部分,对于提高安全驾驶具有很高的推动价值。因此,研究高效且精准的驾驶员面部检测及情绪识别系统,已成为车联网领域的热门研究方向。虽然国内外研究人员在此方向上已经取得了非常多的研究进展,但仍然存在许多痛点问题有待解决。针对各类问题,本文主要做出如下几方面的工作:(1)针对特征信息融合不充分导致多尺寸人脸检测精度低的问题,本文提出一种改进MTCNN(Multi-task Convolutional Neural Network)的人脸检测模型。首先根据缩放因子系数将输入图像进行降采样搭建图像金字塔,其次利用深度可分离卷积代替MTCNN中的普通卷积,使得网络更加轻量化,有利于车联网场景的模型部署。然后使用改进的多尺度特征融合模块对多层特征进行融合,将浅层网络和深层网络的特征信息进行交互传递,增加模型的感受野。最后将面部特征点定位任务的权重进行了优化,使得网络能够对面部区域的特征点进行更加精确的定位,从而为后续的驾驶员情绪识别任务奠定稳定的基础。通过消融实验和多模型对比实验证明,本章提出的人脸检测算法具有更优的检测效果和更好的鲁棒性。(2)针对非关键特征信息冗余导致情绪识别精度低的问题,本文提出一种深度可分离和感兴趣区域的情绪识别模型(Deep Separable and Regions of Interest Network,DSRIN)。该模型基于人脸关键特征点的位置坐标,进行人脸对齐和感兴趣区域的特征拼接,剔除面部非关键特征信息。利用深度可分离卷积、批归一化层、激活函数层等搭建骨干网络,融合瓶颈残差模块控制特征维度,并选取h-swish作为激活函数。实验结果表明,相对于主流的情绪识别模型,本文提出的模型更加轻量,并且在精确度、召回率和F1指数等性能指标上表现更优。(3)针对情绪识别系统任务处理方式数据量大,计算时延高的问题,本文提出一种端边云协同的驾驶员情绪识别系统(End-Edge-Cloud Network,EEC-Net)。首先该系统在车载终端侧部署基于视频流关键帧的图像压缩算法,通过采集设备获取面部视频流,利用帧间差分算法提取视频流中的关键帧并进行无损压缩重构。将重构完成后的数据轻量交付至边缘计算节点中的模型进行消极情绪监控,云端执行模型在线训练,从而动态调整边缘模型的操作参数。仿真结果表明,EEC-Net能够有效提取视频流关键帧并无损压缩数据,实现轻量级数据交付。并且相对于传统的集中式处理方式,EEC-Net能够在保证情绪识别任务稳定的前提下,大幅减少整体系统中计算资源和存储资源的消耗,进一步确保系统的时效性。

基于深度卷积网络的情绪识别研究及其在线上课堂中的应用

这是一篇关于情绪识别,线上课堂,空洞卷积,DenseNet网络模型,非对称卷积,ResNet网络模型的论文, 主要内容为受疫情影响,线上课堂成为师生学习的重要方式之一。线上课堂中,老师往往难以与学生的面对面交流,注重教学内容而忽视了包含学生学习状态的面部情绪等信息。学生线上课堂的情绪状态一定程度上反映学生对知识点的接受程度,从而进一步对线上课堂的教学效果起到反馈作用。目前越来越多的情绪识别任务引入深度卷积网络,基于深度卷积网络的静态人脸图像情绪识别技术具有分类精度高、泛化能力强等优点,其在线上课堂等较复杂的自然场景中表现出优秀的准确性和鲁棒性。在情绪识别任务中,深度卷积网络提取的深层特征至关重要。因此研究基于深度卷积网络的人脸图像情绪识别DenseNet和ResNet网络模型,对比两个网络模型情绪识别性能,并分析各自的适用场景,将其应用到线上课堂教学效果反馈中,从而为线上课堂教学效果反馈提供技术支持。研究工作如下:1、提出多层次监督融合的ResNet-ASE网络模型,同时监督浅层、中间层和深层特征,融合互补层特征,帮助网络模型学习情绪特征,并借助非对称卷积提取深层情绪特征,减少ResNet-ASE模型参数量。借助深度卷积网络提取的深层情绪特征,提高人脸情绪识别任务的准确率,结合学生人脸图像的线上课堂情绪识别的场景,训练更深的卷积神经网络。提出多层次监督的ResNet-ASE网络模型,更容易训练深度卷积网络;并提出监督信息融合结构,融合不同深度的情绪特征。该模型学习的参数量达到了千万数量级,但训练占用显存较低,在数据增强后的FER2013+和RAF数据集上分别取得了95.61%和92.98%的准确率。由于ResNet网络模型需要学习的参数数量巨大,因此适合计算资源充足,内存资源缺乏的情绪识别场景。2、提出多尺度空洞卷积融合的DenseNet-MSE网络模型,DenseNet-MSE同时监督浅层、中间层和深层的稠密块。对于ResNet网络模型而言,由于其参数量巨大,所以带来巨大的计算资源开销。提出多尺度空洞卷积模块提取不同空间尺度特征的稠密卷积神经网络模型,实现低计算成本下人脸图像情绪识别。该模型主要由多尺度空洞卷积和多层次监督融合的DenseNet神经网络两个子网络组成,其中多尺度空洞卷积由不同空洞率的四分支网络提取不同尺度特征;多层次监督和融合提取不同深度的情绪特征;最后在DenseNet-MSE网络中结合Adam优化器和中心损失函数。模型对数据增强后的FER2013+和RAF数据集识别准确率分别达到93.99%和88.23%。与ResNet-ASE比较可得,DenseNet-MSE网络模型需要学习的参数数量较少,但识别准确率比ResNet-ASE稍差,因此适合计算资源缺乏,内存资源充足且准确率要求不高的情绪识别场景。3、搭建微服务实现并部署线上课堂人脸情绪识别的教学效果反馈系统。由于计算资源充足,显存资源有限,因此在服务器部署训练完成的ResNet-ASE网络模型,截取腾讯会议中的学生上课图像,使用Dlib的人脸检测截取人脸图像,ResNet-ASE网络模型输出学习状态,将学习状态通过邮件及时发送给老师和学生,设计数据库和前端页面,完成系统的实现和测试分析。

卷积神经网络人脸识别技术在线上考试中的应用研究

这是一篇关于卷积神经网络,人脸识别,情绪识别,深度学习,在线考试的论文, 主要内容为在近几年,随着信息技术的发展和新冠疫情的影响,在线考试被运用到了许多地方,例如课堂检测、研究生复试等方面。在线考试在为考生展现一种新颖的考试方式的同时,也弥补了考试过程中时间与空间的不足。不过,该模式依旧存在着欠缺。当前的发展趋势下,人脸识别技术已经广泛应用于考勤、安保等领域,但人脸识别技术在线上考试中仍然存在替考、抄袭等现象难以识别的问题和不足。本文针对线上检测学生考试行为和状态的问题,通过对考生的情绪和表情进行有效感知,人脸识别为切入点,为在线考试评测提供了新的视角,为防止考生在考试阶段的一些作弊行为、感知情感变化提供了技术支撑。本文需要完成的工作如下:本文首先对人脸识别在国内外的研究进展进行分析阐述,从四个方面介绍对卷积神经网络进行介绍,分为卷积、神经网络、卷积神经网络与PyTorch深度学习框架四部分。为了更好完成人脸检测、人脸识别和情绪识别引入卷积神经网络,并探究合适的损失函数,主要对人脸检测算法、人脸识别算法、情绪识别算法进行改进和测试。因此,选择MTCNN网络开展人脸检测工作,并对人脸特征点进行定位,而且运用Open CV仿射变换对人脸进行矫正对齐保证图像规格一致,进而提高人脸检测精度;以Res Net18残差网络作为主干网络,完成人脸识别中的人脸特征提取,选择Insight Face损失函数与主干网络相结合,达到提高人脸识别准确率的目的。针对类内表情差别大、类间表情具极高相似性是情绪识别方面需要解决的关键问题,本文在Res Net18网络基础上加权融合Center Loss和Softmax以改进情绪识别算法,在FER2013测试集的训练准确率达到了73.45%,与相同训练条件下的其他算法相比准确率最高。将人脸检测、人脸识别和情绪识别算法结合,创建面部信息感知模型应用于在线考试系统,利用人脸识别验证考生信息,通过表情识别对考生在考试中的情绪变化进行记录。在线考试的应用,提高了在线考试监管的有效性,降低了替考现象,解决了考试中无法感知考生情绪变化的问题,有利于教师根据以上信息改进教学方式和教学任务,对提高考生学习积极性有重要意义。本文的在线考试辅助检测系统以B/S为架构,结合面部信息深度感知模型,完成在线考试中的人脸检测、人脸识别和表情分析,将统计结果以可视化的方式展示并能自动预警,柱状图或者折线图的方式呈现,如果某场考试出现的负面情绪和行为较多,监考老师会出现提醒。最后,对线上考试系统进行测试,测试结果表明,利用卷积神经网络的人脸识别技术使人脸识别准确率和识别速度超过了预期目标,实现了卷积神经网络人脸识别技术在线上考试中的应用。