基于卷积循环神经网络的脑电信号情绪识别方法研究

这是一篇关于脑电信号,情绪识别,循环神经网络,卷积神经网络,深度残差收缩网络的论文, 主要内容为情感计算是人机交互中重要的一环,随着人工智能飞速的发展,很多科研人员加入到情感识别领域的研究,情感识别主要从生理信号和非生理信号两方面研究,在各种生理信号中,脑电信号和情绪的联系较为紧密,且不可主观控制,更能反应人的情绪。该文着重研究基于卷积循环神经网络的脑电信号的情绪识别,具体研究内容如下:首先,研究基于注意力机制卷积神经网络(SKNet Inception Convolution Neutal Network,SKICNN)模型。该模型由SKNet模块和Inception模块构成,模型的输入是由不同频带的微分熵特征构造的三维立体信号。通过实验验证了多频段组合比少频段组合准确率高,并且使用基线信号能够提高准确率,同时验证了steam中使用1×1、4×1、1×4和4×4卷积核准确率最高。SKICNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为94.36%,效价准确率为93.41%。其次,研究基于4D卷积循环神经网络(4D EEGNet Recurrent Neural Network,4DEEGRNN)模型。该模型由EEGNet模块和Bi LSTM模块构成,4D特征是采用0.5秒的窗口分割脑电信号,并且计算四个频带的微分熵特征构成的三维立体信号作为模型的输入。通过构造对比模型,分析不同的输入对整体结果的影响,以及不同参数设置对整体结果的影响。通过实验发现以9×9×4作为输入,丢失方式为Spatial Dropout2D,丢失率为0.1的模型K在所有模型中效果最好。4D-EEGRNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为95.97%,效价维准确率为95.23%。最后,提出基于2D-3D卷积神经网络(2D 3D Convolution Neural Network,2-3DCNN)模型。该模型由二维卷积、三维卷积、SE-Res Net模块、Xception网络和深度残差收缩网络构成,模型的输入是原始脑电信号。通过实验分析了深度残差收缩网络在模型中不同位置对最终结果的影响,发现深度残差收缩网络与SERes Net在同一支路的情况下准确率最高。2-3DCNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为97.19%,效价维准确率为97.58%。

基于多模态融合的情绪识别系统设计与实现

这是一篇关于情绪识别,人机交互,脑电信号,面部表情,多模态融合,深度学习的论文, 主要内容为情绪是人类基本心理活动的表现,情绪表达是交流中重要的理解依据。在人工智能的大背景下,机器人、智能家居、智慧医疗等人工智能产品均得到飞跃发展,机器与人的交流也更加密切,使得人机交互技术具有非常重要的研究价值。人机交互系统在面对恶劣环境和处理复杂工作方面优于人类,同时也要与人类协同作业,此时拥有情感交互能力可以更好地提升人机交互性能。近年来情绪识别已然成为人工智能领域重要的研究方向。通常使用面部、脑电、语音语调、文字或肢体动作研究情绪变化,但是仅从单一模态研究情绪识别时,一种模态无法获取足够多的特征,引入多模态特征并进行融合可以提取不同模态的互补信息,从而提高情绪识别准确率。基于多模态融合的情绪识别已经成为情绪识别领域的重要研究方向。本文使用面部和脑电两个模态对情绪进行识别,分别设计单一模态的识别算法和多模态融合情绪识别算法,并设计一款便携式情绪识别系统,实现开心、悲伤、惊讶、中立四分类情绪识别。针对面部模态使用Open CV对面部图像进行人脸定位、面部图像截取、直方图均衡化、尺寸统一等预处理,在Keras平台构建三款卷积神经网络,包括VGG16、Dense Net121和本文设计的My model。使用Fer2013表情数据集进行训练和测试模型,比较三种模型识别准确率和识别效率,实现基于面部表情的四种情绪识别算法。针对脑电信号模态通过对DEAP情感脑电数据集进行预处理,提取数据集中FP1通道的脑电信号,对单通道脑电信号进行快速傅里叶变换,根据频率将脑电信号分为五个频段,再将脑电频域信号反变换为时域信号,使用标准差对脑电时域信号进行特征提取,最后使用K近邻算法实现基于脑电模态的四种情绪识别算法。在面部和脑电模态情绪识别算法的基础上,设计一款基于加权平均的决策融合算法,并应用于情绪识别系统。情绪识别系统由基于树莓派平台开发的中央控制模块、基于TGAM芯片和蓝牙开发的脑电采集模块、使用高清摄像头和高清触控屏开发的面部图像采集模块组成。本文对情绪识别系统进行调试及运行,实现系统数据采集,信号处理,图像处理、信号传输、情绪识别等功能。通过实验验证系统可靠性,算法可行性,并对比验证单一模态和多模态融合的实验结果比较及分析。

基于卷积循环神经网络的脑电信号情绪识别方法研究

这是一篇关于脑电信号,情绪识别,循环神经网络,卷积神经网络,深度残差收缩网络的论文, 主要内容为情感计算是人机交互中重要的一环,随着人工智能飞速的发展,很多科研人员加入到情感识别领域的研究,情感识别主要从生理信号和非生理信号两方面研究,在各种生理信号中,脑电信号和情绪的联系较为紧密,且不可主观控制,更能反应人的情绪。该文着重研究基于卷积循环神经网络的脑电信号的情绪识别,具体研究内容如下:首先,研究基于注意力机制卷积神经网络(SKNet Inception Convolution Neutal Network,SKICNN)模型。该模型由SKNet模块和Inception模块构成,模型的输入是由不同频带的微分熵特征构造的三维立体信号。通过实验验证了多频段组合比少频段组合准确率高,并且使用基线信号能够提高准确率,同时验证了steam中使用1×1、4×1、1×4和4×4卷积核准确率最高。SKICNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为94.36%,效价准确率为93.41%。其次,研究基于4D卷积循环神经网络(4D EEGNet Recurrent Neural Network,4DEEGRNN)模型。该模型由EEGNet模块和Bi LSTM模块构成,4D特征是采用0.5秒的窗口分割脑电信号,并且计算四个频带的微分熵特征构成的三维立体信号作为模型的输入。通过构造对比模型,分析不同的输入对整体结果的影响,以及不同参数设置对整体结果的影响。通过实验发现以9×9×4作为输入,丢失方式为Spatial Dropout2D,丢失率为0.1的模型K在所有模型中效果最好。4D-EEGRNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为95.97%,效价维准确率为95.23%。最后,提出基于2D-3D卷积神经网络(2D 3D Convolution Neural Network,2-3DCNN)模型。该模型由二维卷积、三维卷积、SE-Res Net模块、Xception网络和深度残差收缩网络构成,模型的输入是原始脑电信号。通过实验分析了深度残差收缩网络在模型中不同位置对最终结果的影响,发现深度残差收缩网络与SERes Net在同一支路的情况下准确率最高。2-3DCNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为97.19%,效价维准确率为97.58%。

基于多模态融合的情绪识别系统设计与实现

这是一篇关于情绪识别,人机交互,脑电信号,面部表情,多模态融合,深度学习的论文, 主要内容为情绪是人类基本心理活动的表现,情绪表达是交流中重要的理解依据。在人工智能的大背景下,机器人、智能家居、智慧医疗等人工智能产品均得到飞跃发展,机器与人的交流也更加密切,使得人机交互技术具有非常重要的研究价值。人机交互系统在面对恶劣环境和处理复杂工作方面优于人类,同时也要与人类协同作业,此时拥有情感交互能力可以更好地提升人机交互性能。近年来情绪识别已然成为人工智能领域重要的研究方向。通常使用面部、脑电、语音语调、文字或肢体动作研究情绪变化,但是仅从单一模态研究情绪识别时,一种模态无法获取足够多的特征,引入多模态特征并进行融合可以提取不同模态的互补信息,从而提高情绪识别准确率。基于多模态融合的情绪识别已经成为情绪识别领域的重要研究方向。本文使用面部和脑电两个模态对情绪进行识别,分别设计单一模态的识别算法和多模态融合情绪识别算法,并设计一款便携式情绪识别系统,实现开心、悲伤、惊讶、中立四分类情绪识别。针对面部模态使用Open CV对面部图像进行人脸定位、面部图像截取、直方图均衡化、尺寸统一等预处理,在Keras平台构建三款卷积神经网络,包括VGG16、Dense Net121和本文设计的My model。使用Fer2013表情数据集进行训练和测试模型,比较三种模型识别准确率和识别效率,实现基于面部表情的四种情绪识别算法。针对脑电信号模态通过对DEAP情感脑电数据集进行预处理,提取数据集中FP1通道的脑电信号,对单通道脑电信号进行快速傅里叶变换,根据频率将脑电信号分为五个频段,再将脑电频域信号反变换为时域信号,使用标准差对脑电时域信号进行特征提取,最后使用K近邻算法实现基于脑电模态的四种情绪识别算法。在面部和脑电模态情绪识别算法的基础上,设计一款基于加权平均的决策融合算法,并应用于情绪识别系统。情绪识别系统由基于树莓派平台开发的中央控制模块、基于TGAM芯片和蓝牙开发的脑电采集模块、使用高清摄像头和高清触控屏开发的面部图像采集模块组成。本文对情绪识别系统进行调试及运行,实现系统数据采集,信号处理,图像处理、信号传输、情绪识别等功能。通过实验验证系统可靠性,算法可行性,并对比验证单一模态和多模态融合的实验结果比较及分析。

基于深度卷积网络的情绪识别研究及其在线上课堂中的应用

这是一篇关于情绪识别,线上课堂,空洞卷积,DenseNet网络模型,非对称卷积,ResNet网络模型的论文, 主要内容为受疫情影响,线上课堂成为师生学习的重要方式之一。线上课堂中,老师往往难以与学生的面对面交流,注重教学内容而忽视了包含学生学习状态的面部情绪等信息。学生线上课堂的情绪状态一定程度上反映学生对知识点的接受程度,从而进一步对线上课堂的教学效果起到反馈作用。目前越来越多的情绪识别任务引入深度卷积网络,基于深度卷积网络的静态人脸图像情绪识别技术具有分类精度高、泛化能力强等优点,其在线上课堂等较复杂的自然场景中表现出优秀的准确性和鲁棒性。在情绪识别任务中,深度卷积网络提取的深层特征至关重要。因此研究基于深度卷积网络的人脸图像情绪识别DenseNet和ResNet网络模型,对比两个网络模型情绪识别性能,并分析各自的适用场景,将其应用到线上课堂教学效果反馈中,从而为线上课堂教学效果反馈提供技术支持。研究工作如下:1、提出多层次监督融合的ResNet-ASE网络模型,同时监督浅层、中间层和深层特征,融合互补层特征,帮助网络模型学习情绪特征,并借助非对称卷积提取深层情绪特征,减少ResNet-ASE模型参数量。借助深度卷积网络提取的深层情绪特征,提高人脸情绪识别任务的准确率,结合学生人脸图像的线上课堂情绪识别的场景,训练更深的卷积神经网络。提出多层次监督的ResNet-ASE网络模型,更容易训练深度卷积网络;并提出监督信息融合结构,融合不同深度的情绪特征。该模型学习的参数量达到了千万数量级,但训练占用显存较低,在数据增强后的FER2013+和RAF数据集上分别取得了95.61%和92.98%的准确率。由于ResNet网络模型需要学习的参数数量巨大,因此适合计算资源充足,内存资源缺乏的情绪识别场景。2、提出多尺度空洞卷积融合的DenseNet-MSE网络模型,DenseNet-MSE同时监督浅层、中间层和深层的稠密块。对于ResNet网络模型而言,由于其参数量巨大,所以带来巨大的计算资源开销。提出多尺度空洞卷积模块提取不同空间尺度特征的稠密卷积神经网络模型,实现低计算成本下人脸图像情绪识别。该模型主要由多尺度空洞卷积和多层次监督融合的DenseNet神经网络两个子网络组成,其中多尺度空洞卷积由不同空洞率的四分支网络提取不同尺度特征;多层次监督和融合提取不同深度的情绪特征;最后在DenseNet-MSE网络中结合Adam优化器和中心损失函数。模型对数据增强后的FER2013+和RAF数据集识别准确率分别达到93.99%和88.23%。与ResNet-ASE比较可得,DenseNet-MSE网络模型需要学习的参数数量较少,但识别准确率比ResNet-ASE稍差,因此适合计算资源缺乏,内存资源充足且准确率要求不高的情绪识别场景。3、搭建微服务实现并部署线上课堂人脸情绪识别的教学效果反馈系统。由于计算资源充足,显存资源有限,因此在服务器部署训练完成的ResNet-ASE网络模型,截取腾讯会议中的学生上课图像,使用Dlib的人脸检测截取人脸图像,ResNet-ASE网络模型输出学习状态,将学习状态通过邮件及时发送给老师和学生,设计数据库和前端页面,完成系统的实现和测试分析。

卷积神经网络人脸识别技术在线上考试中的应用研究

这是一篇关于卷积神经网络,人脸识别,情绪识别,深度学习,在线考试的论文, 主要内容为在近几年,随着信息技术的发展和新冠疫情的影响,在线考试被运用到了许多地方,例如课堂检测、研究生复试等方面。在线考试在为考生展现一种新颖的考试方式的同时,也弥补了考试过程中时间与空间的不足。不过,该模式依旧存在着欠缺。当前的发展趋势下,人脸识别技术已经广泛应用于考勤、安保等领域,但人脸识别技术在线上考试中仍然存在替考、抄袭等现象难以识别的问题和不足。本文针对线上检测学生考试行为和状态的问题,通过对考生的情绪和表情进行有效感知,人脸识别为切入点,为在线考试评测提供了新的视角,为防止考生在考试阶段的一些作弊行为、感知情感变化提供了技术支撑。本文需要完成的工作如下:本文首先对人脸识别在国内外的研究进展进行分析阐述,从四个方面介绍对卷积神经网络进行介绍,分为卷积、神经网络、卷积神经网络与PyTorch深度学习框架四部分。为了更好完成人脸检测、人脸识别和情绪识别引入卷积神经网络,并探究合适的损失函数,主要对人脸检测算法、人脸识别算法、情绪识别算法进行改进和测试。因此,选择MTCNN网络开展人脸检测工作,并对人脸特征点进行定位,而且运用Open CV仿射变换对人脸进行矫正对齐保证图像规格一致,进而提高人脸检测精度;以Res Net18残差网络作为主干网络,完成人脸识别中的人脸特征提取,选择Insight Face损失函数与主干网络相结合,达到提高人脸识别准确率的目的。针对类内表情差别大、类间表情具极高相似性是情绪识别方面需要解决的关键问题,本文在Res Net18网络基础上加权融合Center Loss和Softmax以改进情绪识别算法,在FER2013测试集的训练准确率达到了73.45%,与相同训练条件下的其他算法相比准确率最高。将人脸检测、人脸识别和情绪识别算法结合,创建面部信息感知模型应用于在线考试系统,利用人脸识别验证考生信息,通过表情识别对考生在考试中的情绪变化进行记录。在线考试的应用,提高了在线考试监管的有效性,降低了替考现象,解决了考试中无法感知考生情绪变化的问题,有利于教师根据以上信息改进教学方式和教学任务,对提高考生学习积极性有重要意义。本文的在线考试辅助检测系统以B/S为架构,结合面部信息深度感知模型,完成在线考试中的人脸检测、人脸识别和表情分析,将统计结果以可视化的方式展示并能自动预警,柱状图或者折线图的方式呈现,如果某场考试出现的负面情绪和行为较多,监考老师会出现提醒。最后,对线上考试系统进行测试,测试结果表明,利用卷积神经网络的人脸识别技术使人脸识别准确率和识别速度超过了预期目标,实现了卷积神经网络人脸识别技术在线上考试中的应用。

基于多模态融合的情绪识别系统设计与实现

这是一篇关于情绪识别,人机交互,脑电信号,面部表情,多模态融合,深度学习的论文, 主要内容为情绪是人类基本心理活动的表现,情绪表达是交流中重要的理解依据。在人工智能的大背景下,机器人、智能家居、智慧医疗等人工智能产品均得到飞跃发展,机器与人的交流也更加密切,使得人机交互技术具有非常重要的研究价值。人机交互系统在面对恶劣环境和处理复杂工作方面优于人类,同时也要与人类协同作业,此时拥有情感交互能力可以更好地提升人机交互性能。近年来情绪识别已然成为人工智能领域重要的研究方向。通常使用面部、脑电、语音语调、文字或肢体动作研究情绪变化,但是仅从单一模态研究情绪识别时,一种模态无法获取足够多的特征,引入多模态特征并进行融合可以提取不同模态的互补信息,从而提高情绪识别准确率。基于多模态融合的情绪识别已经成为情绪识别领域的重要研究方向。本文使用面部和脑电两个模态对情绪进行识别,分别设计单一模态的识别算法和多模态融合情绪识别算法,并设计一款便携式情绪识别系统,实现开心、悲伤、惊讶、中立四分类情绪识别。针对面部模态使用Open CV对面部图像进行人脸定位、面部图像截取、直方图均衡化、尺寸统一等预处理,在Keras平台构建三款卷积神经网络,包括VGG16、Dense Net121和本文设计的My model。使用Fer2013表情数据集进行训练和测试模型,比较三种模型识别准确率和识别效率,实现基于面部表情的四种情绪识别算法。针对脑电信号模态通过对DEAP情感脑电数据集进行预处理,提取数据集中FP1通道的脑电信号,对单通道脑电信号进行快速傅里叶变换,根据频率将脑电信号分为五个频段,再将脑电频域信号反变换为时域信号,使用标准差对脑电时域信号进行特征提取,最后使用K近邻算法实现基于脑电模态的四种情绪识别算法。在面部和脑电模态情绪识别算法的基础上,设计一款基于加权平均的决策融合算法,并应用于情绪识别系统。情绪识别系统由基于树莓派平台开发的中央控制模块、基于TGAM芯片和蓝牙开发的脑电采集模块、使用高清摄像头和高清触控屏开发的面部图像采集模块组成。本文对情绪识别系统进行调试及运行,实现系统数据采集,信号处理,图像处理、信号传输、情绪识别等功能。通过实验验证系统可靠性,算法可行性,并对比验证单一模态和多模态融合的实验结果比较及分析。

基于卷积循环神经网络的脑电信号情绪识别方法研究

这是一篇关于脑电信号,情绪识别,循环神经网络,卷积神经网络,深度残差收缩网络的论文, 主要内容为情感计算是人机交互中重要的一环,随着人工智能飞速的发展,很多科研人员加入到情感识别领域的研究,情感识别主要从生理信号和非生理信号两方面研究,在各种生理信号中,脑电信号和情绪的联系较为紧密,且不可主观控制,更能反应人的情绪。该文着重研究基于卷积循环神经网络的脑电信号的情绪识别,具体研究内容如下:首先,研究基于注意力机制卷积神经网络(SKNet Inception Convolution Neutal Network,SKICNN)模型。该模型由SKNet模块和Inception模块构成,模型的输入是由不同频带的微分熵特征构造的三维立体信号。通过实验验证了多频段组合比少频段组合准确率高,并且使用基线信号能够提高准确率,同时验证了steam中使用1×1、4×1、1×4和4×4卷积核准确率最高。SKICNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为94.36%,效价准确率为93.41%。其次,研究基于4D卷积循环神经网络(4D EEGNet Recurrent Neural Network,4DEEGRNN)模型。该模型由EEGNet模块和Bi LSTM模块构成,4D特征是采用0.5秒的窗口分割脑电信号,并且计算四个频带的微分熵特征构成的三维立体信号作为模型的输入。通过构造对比模型,分析不同的输入对整体结果的影响,以及不同参数设置对整体结果的影响。通过实验发现以9×9×4作为输入,丢失方式为Spatial Dropout2D,丢失率为0.1的模型K在所有模型中效果最好。4D-EEGRNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为95.97%,效价维准确率为95.23%。最后,提出基于2D-3D卷积神经网络(2D 3D Convolution Neural Network,2-3DCNN)模型。该模型由二维卷积、三维卷积、SE-Res Net模块、Xception网络和深度残差收缩网络构成,模型的输入是原始脑电信号。通过实验分析了深度残差收缩网络在模型中不同位置对最终结果的影响,发现深度残差收缩网络与SERes Net在同一支路的情况下准确率最高。2-3DCNN模型相对已有研究成果的准确率有所提升,在DEAP数据集的唤醒维准确率为97.19%,效价维准确率为97.58%。