基于EEG-fNIRS的多模态脑信号检测系统研究

这是一篇关于多模态,脑电,脑血氧,同步脑电-功能近红外光谱(EEG-fNIRS)的论文, 主要内容为目前常见的大脑检测技术包括脑电图(EEG)、功能近红外光谱(fNIRS)和功能磁共振成像(f MRI)等技术,但是这些传统的大脑检测技术检测的都是单一模态的信号,而单模态信号往往存在自身无法弥补的不足,对大脑的认识具有局限性,已无法满足对大脑的全面精细的探索。针对上述问题,本文设计研发了基于EEG-fNIRS的多模态脑信号检测系统。该系统结合脑电图(EEG)和功能近红外光谱(fNIRS)这两类应用广泛的非侵入式检测技术,可以同时检测神经元放电所形成的脑电信号和与血流动力学活动有关的脑血氧信号,结合了EEG高时间分辨率和fNIRS的高空间分辨率的优点,避免了EEG空间分辨率较差和fNIRS时间分辨率差的缺点,实现了优缺点互补,一定程度上避免了单一检测技术因干扰信号造成的误导性结果,提高了大脑检测的可靠性,为全面探索大脑的功能活动提供了丰富的信息和内置验证。具体的研究内容如下:1、EEG-fNIRS多模态脑信号检测系统的研发:系统可以同时采集脑电和脑血氧信号,实现了32通道、单通道采样率最高可达16k Hz的脑电采集和最大支持16通道光源以及16通道探测器、单通道采样率最高可达100Hz的脑血氧采集。其中,脑电采集通道最大可以扩充到1024通道,单通道采样率最高500Hz,在电极侧的前置电路模块对原始脑电信号进行了放大和低通滤波,提升了信号信噪比;脑血氧采集可以灵活调控光源模块的发光频率、发光功率以及不同波长的发射光切换。另外还专门设计了基于CRC校验的无线通信协议,保证了系统的高可用性以及数据传输的准确性和有效性,并对本套EEG-fNIRS多模态脑信号检测系统进行了系统性能测试以及经典的人体前臂血液阻断实验,验证了其有效性。2、系统物理结构的优化设计:研究并优化了EEG-fNIRS多模态脑信号检测系统的拓扑结构,包括将脑电干电极与电极后端电路集成小型化为脑电电极模块,3D打印设计了用于固定光源和光电探测器、避免环境光干扰的光电探头,以及柔性轻质的前额固定带。并且基于前额脑区活跃程度的相关研究,优化了固定带的位点排布,实现了尽可能覆盖活跃脑区的需求。该系统的结构优化,保证采集模块与头皮紧密贴合,避免产生相对位移的同时,满足了小型化、便携式、佩戴方便的系统设计要求。3、验证检测系统的可行性:利用设计完成的EEG-fNIRS多模态脑信号检测系统进行了视觉刺激在体实验,对系统的有效性和功能性进行了验证。在Psychtoolbox设计的视觉刺激实验平台上,被试者完成了本文设计的视觉刺激范式,实验结果与国内外文献结果趋势一致,表明该系统能够有效检测大脑神经活动时的脑电信号和脑血氧信号。

基于超图卷积和半监督的癫痫检测预测系统

这是一篇关于癫痫,脑电,图卷积,半监督学习的论文, 主要内容为癫痫作为一种会严重影响患者生活的神经疾病,通过脑电信号(Electroencephalograph,EEG)对其进行分析和监测具有重要意义。近年来,使用脑电信号结合机器学习方法的癫痫分析研究得到了快速发展。然而,以往的癫痫分析主干网络没有使用脑电信号的空间信息,或者在学习EEG图结构信息方面存在能力不足的问题,这使得它们缺乏对EEG中复杂脑内连接关系的表征能力。同时,在癫痫分析中的癫痫检测和预测任务中,现阶段的工作大都严重依赖医生花费大量时间标注获得的有标签数据,未有效利用大量且易获得的无标签脑电数据。本文基于已有研究,提出了一种基于超图卷积和半监督癫痫检测和预测算法,同时以该算法为核心构建了一个癫痫辅助检测预测系统。第一,本文提出了一种基于超图卷积的癫痫分析主干网络。算法通过构建超图卷积,描述EEG通道之间的复杂连接关系,通过设计局部保护模块,保护模型信息流中的低维分类特征,避免图卷积中的过平滑问题,从而获得更高的检测性能。第二,在上述超图卷积算法的基础上,本文提出了一种可有效利用无标签数据的半监督癫痫监测算法。算法通过学生-教师孪生网络互相学习,为输入的无标签数据构建训练目标,通过时频空域的多种数据增强方法结合一致性损失提升模型的泛化能力。第三,本文通过多种实验证明了上述两个算法的性能。基于超图卷积的癫痫分析算法在癫痫检测、预测和分类三个任务,四个数据集上,进行了多个实验场景下的验证。基于超图卷积的半监督癫痫监测算法则在Kaggle与CHB-MIT数据集上分别进行了跨受试者癫痫检测和预测实验。通过对比实验和文献分析,证明了论文提出算法有良好的癫痫检测预测能力。同时,基于提出的模型,本文设计并实现了癫痫辅助检测预测系统,系统基于Spring Boot和Vue.js实现了服务的后端和前端,通过对脑电文件进行模型分析和数据可视化展示,辅助医生对癫痫进行诊断。

基于超图卷积和半监督的癫痫检测预测系统

这是一篇关于癫痫,脑电,图卷积,半监督学习的论文, 主要内容为癫痫作为一种会严重影响患者生活的神经疾病,通过脑电信号(Electroencephalograph,EEG)对其进行分析和监测具有重要意义。近年来,使用脑电信号结合机器学习方法的癫痫分析研究得到了快速发展。然而,以往的癫痫分析主干网络没有使用脑电信号的空间信息,或者在学习EEG图结构信息方面存在能力不足的问题,这使得它们缺乏对EEG中复杂脑内连接关系的表征能力。同时,在癫痫分析中的癫痫检测和预测任务中,现阶段的工作大都严重依赖医生花费大量时间标注获得的有标签数据,未有效利用大量且易获得的无标签脑电数据。本文基于已有研究,提出了一种基于超图卷积和半监督癫痫检测和预测算法,同时以该算法为核心构建了一个癫痫辅助检测预测系统。第一,本文提出了一种基于超图卷积的癫痫分析主干网络。算法通过构建超图卷积,描述EEG通道之间的复杂连接关系,通过设计局部保护模块,保护模型信息流中的低维分类特征,避免图卷积中的过平滑问题,从而获得更高的检测性能。第二,在上述超图卷积算法的基础上,本文提出了一种可有效利用无标签数据的半监督癫痫监测算法。算法通过学生-教师孪生网络互相学习,为输入的无标签数据构建训练目标,通过时频空域的多种数据增强方法结合一致性损失提升模型的泛化能力。第三,本文通过多种实验证明了上述两个算法的性能。基于超图卷积的癫痫分析算法在癫痫检测、预测和分类三个任务,四个数据集上,进行了多个实验场景下的验证。基于超图卷积的半监督癫痫监测算法则在Kaggle与CHB-MIT数据集上分别进行了跨受试者癫痫检测和预测实验。通过对比实验和文献分析,证明了论文提出算法有良好的癫痫检测预测能力。同时,基于提出的模型,本文设计并实现了癫痫辅助检测预测系统,系统基于Spring Boot和Vue.js实现了服务的后端和前端,通过对脑电文件进行模型分析和数据可视化展示,辅助医生对癫痫进行诊断。

基于超图卷积和半监督的癫痫检测预测系统

这是一篇关于癫痫,脑电,图卷积,半监督学习的论文, 主要内容为癫痫作为一种会严重影响患者生活的神经疾病,通过脑电信号(Electroencephalograph,EEG)对其进行分析和监测具有重要意义。近年来,使用脑电信号结合机器学习方法的癫痫分析研究得到了快速发展。然而,以往的癫痫分析主干网络没有使用脑电信号的空间信息,或者在学习EEG图结构信息方面存在能力不足的问题,这使得它们缺乏对EEG中复杂脑内连接关系的表征能力。同时,在癫痫分析中的癫痫检测和预测任务中,现阶段的工作大都严重依赖医生花费大量时间标注获得的有标签数据,未有效利用大量且易获得的无标签脑电数据。本文基于已有研究,提出了一种基于超图卷积和半监督癫痫检测和预测算法,同时以该算法为核心构建了一个癫痫辅助检测预测系统。第一,本文提出了一种基于超图卷积的癫痫分析主干网络。算法通过构建超图卷积,描述EEG通道之间的复杂连接关系,通过设计局部保护模块,保护模型信息流中的低维分类特征,避免图卷积中的过平滑问题,从而获得更高的检测性能。第二,在上述超图卷积算法的基础上,本文提出了一种可有效利用无标签数据的半监督癫痫监测算法。算法通过学生-教师孪生网络互相学习,为输入的无标签数据构建训练目标,通过时频空域的多种数据增强方法结合一致性损失提升模型的泛化能力。第三,本文通过多种实验证明了上述两个算法的性能。基于超图卷积的癫痫分析算法在癫痫检测、预测和分类三个任务,四个数据集上,进行了多个实验场景下的验证。基于超图卷积的半监督癫痫监测算法则在Kaggle与CHB-MIT数据集上分别进行了跨受试者癫痫检测和预测实验。通过对比实验和文献分析,证明了论文提出算法有良好的癫痫检测预测能力。同时,基于提出的模型,本文设计并实现了癫痫辅助检测预测系统,系统基于Spring Boot和Vue.js实现了服务的后端和前端,通过对脑电文件进行模型分析和数据可视化展示,辅助医生对癫痫进行诊断。

乒乓球选手击球前“球-拍”的运动协调及脑电表征研究

这是一篇关于乒乓球,运动协调,脑电,偏最小二乘法回归的论文, 主要内容为研究目的:乒乓球击球是一个复杂的过程,选手必须在极短的时间内分析来球特征,控制肢体挥拍击球,并与来球建立良好的协调关系。为了研究乒乓球选手击球前,大脑是如何控制肢体操控球拍,建立起与乒乓球之间良好协调关系,并将球击打至预定区域的。本文设计了目标导向的乒乓球击球实验,通过高速摄像机、红外光点高速运动捕捉系统获取乒乓球、球拍的运动学数据,量化击球前“球-拍”的运动协调特征,采用脑电技术来记录和分析选手击球前脑电波活动,进而揭示乒乓球选手击球前“球-拍”的运动协调模式与脑电特征之间的关系。研究方法:本研究纳入了19名有3年以上训练经历的乒乓球选手,设计了目标导向的乒乓球击球实验。实验时,发球机连续发50个球,选手需使用正手攻球技术连续10次将来球击至目标区域,后续只分析这10次的数据。在实验期间,同步记录选手的脑电信号数据以及乒乓球、球拍的运动学数据。利用Eeglab和Matlab软件对脑电信号数据进行处理,通过艾里尔运动解析软件(APAS)解析乒乓球、球拍的运动学数据,并使用连续相对相位法(CRP)量化“球-拍”的运动协调模式。根据选手击球前乒乓球运动轨迹,将脑电数据和运动学数据划分为3个阶段进行研究,这3个阶段分别是:阶段1(发球机发球到球过球网)、阶段2(球过网到接触球台)、阶段3(球接触球台到接触球拍)。后续,使用SPSS 26中的单因素方差分析来比较乒乓球选手击球前各阶段“球-拍”相对相位的差异;对脑电波(Theta、Alpha、Beta、Gamma)功率进行了3(阶段:阶段1、阶段2、阶段3)×4(脑区:额叶区、运动区、顶叶区、枕叶区)的两因素重复测量方差分析;使用SPSSAU数据分析平台中的偏最小二乘法回归(PLSR)分析选手击球前脑电波与“球-拍”的相对相位之间的关系。研究结果:(1)乒乓球选手击球前,阶段1“球-拍”的相对相位显著大于阶段2和阶段3,阶段2与阶段3之间无显著性差异,但阶段3后期相对相位呈现出明显的增加趋势。(2)乒乓球选手击球前,Theta波的振荡不明显,呈现出缓慢的下降趋势。但枕叶区的Theta波较为活跃,从发球开始出现明显的上升,在阶段2达到峰值,随后又出现明显的下降。(3)乒乓球选手击球前Beta波的功率,阶段主效应显著,在球过网时刻附近功率降到最低,而从球过网到击球,Beta波功率显著增加。(4)乒乓球选手击球前,4个脑区的Gamma波变化相似,顶叶区和额叶区的振荡较其他区域更加明显。在顶叶区,阶段1的Gamma功率显著小于阶段2和阶段3;在额叶区,阶段1的Gamma功率显著小于阶段3。(5)击球前,3个阶段“球-拍”的相对相位分别与顶叶区、枕叶区和运动区Gamma波呈显著正相关。(6)阶段2(球过网-球接触球台)“球-拍”的相对相位与Alpha波与呈显著负相关,但在阶段3(球触球台-球触球拍)转变为显著正相关。(7)阶段2(球过网-球接触球台)“球-拍”相对相位与Theta波呈显著负相关。研究结论:(1)乒乓球选手击球前“球-拍”运动协调模式是在不断变化的,从发球机发球到乒乓球接触球台反弹,“球-拍”的运动协调模式逐渐趋于同相协调,而随着击球点的临近迅速变为异相协调,这可能意味着乒乓球选手越是接近击球时刻越需要更强的神经肌肉控制能力。(2)乒乓球选手击球前Theta波的振荡不明显,呈现出缓慢的下降趋势,除Theta波外,其余脑电波振荡模式基本相似,即发球到球过网这一阶段功率下降,而后,直至球接触球拍脑电功率不断增加。(3)乒乓球选手击球前“球-拍”的运动协调模式与脑电波存在关联,选手通过顶叶区、枕叶区和运动区的脑电活动控制“球-拍”的运动协调模式。

基于EEG-fNIRS的多模态脑信号检测系统研究

这是一篇关于多模态,脑电,脑血氧,同步脑电-功能近红外光谱(EEG-fNIRS)的论文, 主要内容为目前常见的大脑检测技术包括脑电图(EEG)、功能近红外光谱(fNIRS)和功能磁共振成像(f MRI)等技术,但是这些传统的大脑检测技术检测的都是单一模态的信号,而单模态信号往往存在自身无法弥补的不足,对大脑的认识具有局限性,已无法满足对大脑的全面精细的探索。针对上述问题,本文设计研发了基于EEG-fNIRS的多模态脑信号检测系统。该系统结合脑电图(EEG)和功能近红外光谱(fNIRS)这两类应用广泛的非侵入式检测技术,可以同时检测神经元放电所形成的脑电信号和与血流动力学活动有关的脑血氧信号,结合了EEG高时间分辨率和fNIRS的高空间分辨率的优点,避免了EEG空间分辨率较差和fNIRS时间分辨率差的缺点,实现了优缺点互补,一定程度上避免了单一检测技术因干扰信号造成的误导性结果,提高了大脑检测的可靠性,为全面探索大脑的功能活动提供了丰富的信息和内置验证。具体的研究内容如下:1、EEG-fNIRS多模态脑信号检测系统的研发:系统可以同时采集脑电和脑血氧信号,实现了32通道、单通道采样率最高可达16k Hz的脑电采集和最大支持16通道光源以及16通道探测器、单通道采样率最高可达100Hz的脑血氧采集。其中,脑电采集通道最大可以扩充到1024通道,单通道采样率最高500Hz,在电极侧的前置电路模块对原始脑电信号进行了放大和低通滤波,提升了信号信噪比;脑血氧采集可以灵活调控光源模块的发光频率、发光功率以及不同波长的发射光切换。另外还专门设计了基于CRC校验的无线通信协议,保证了系统的高可用性以及数据传输的准确性和有效性,并对本套EEG-fNIRS多模态脑信号检测系统进行了系统性能测试以及经典的人体前臂血液阻断实验,验证了其有效性。2、系统物理结构的优化设计:研究并优化了EEG-fNIRS多模态脑信号检测系统的拓扑结构,包括将脑电干电极与电极后端电路集成小型化为脑电电极模块,3D打印设计了用于固定光源和光电探测器、避免环境光干扰的光电探头,以及柔性轻质的前额固定带。并且基于前额脑区活跃程度的相关研究,优化了固定带的位点排布,实现了尽可能覆盖活跃脑区的需求。该系统的结构优化,保证采集模块与头皮紧密贴合,避免产生相对位移的同时,满足了小型化、便携式、佩戴方便的系统设计要求。3、验证检测系统的可行性:利用设计完成的EEG-fNIRS多模态脑信号检测系统进行了视觉刺激在体实验,对系统的有效性和功能性进行了验证。在Psychtoolbox设计的视觉刺激实验平台上,被试者完成了本文设计的视觉刺激范式,实验结果与国内外文献结果趋势一致,表明该系统能够有效检测大脑神经活动时的脑电信号和脑血氧信号。

基于深度神经网络的情绪识别研究

这是一篇关于情绪识别,文本,脑电,多模态融合,深度学习的论文, 主要内容为情绪识别研究对于理解掌握人体的情绪状态至关重要,目前已在人机交互、远程教育以及医疗保健等领域得到广泛应用。随着情绪相关信号如文本、脑电等采集设备的发展,如何有效提取信号的情绪特征,提高情绪识别准确率是亟须解决的研究问题。本文提出基于文本、脑电和多模态融合的情绪识别研究模型,改进不同场景下的情绪识别方法模型,设计实现基于情绪监测的高血压管理系统。论文工作内容如下:1.针对文本情绪识别词嵌入缺乏句子上下文信息以及模型忽略子句特征等问题,提出基于子句特征的实体属性依赖情感分析方法,通过子句分割和ELMo词嵌入模型实现文本数据预处理,利用Bi LSTM模型结合实体和子句注意力机制实现句子特征提取,采用Softmax层实现句子目标实体情感分类。该模型通过Sem Eval2014 task4数据集验证其有效性,针对Laptop和Resaurant的分类精度分别达74.32%和79.73%。2.针对脑电情绪识别电极相邻通道空间特征丢失问题,提出基于时空核心块的卷积神经网络模型,运用卷积神经网络在特征提取过程中引入时空核心块,同时考虑数据时间维度和电极间空间特征,将时空特征与全连接层连接实现脑电信号的情绪分类。该模型通过DEAP数据集验证有效性,针对Arousal和Valence的分类精度分别达87.56%和88.61%。3.针对多模态融合情绪识别忽略情绪个体表达特异性、不同模态特征融合困难等问题,提出基于双峰深度自动编码器的多模态情绪识别模型,融合脑电、肌电、眼电、皮肤传导率等生理信号和人口统计学的文本数据,分别提取信号的深层抽象特征和统计学特征,整合人口统计学特征输入双峰深度自动编码器实现多模态融合特征提取,最终采用支持向量机实现人体情绪分类。该模型通过DEAP数据集验证有效性,针对Arousal和Valence的分类精度分别达90.21%和91.82%,四分类分类精度达88.20%。4.设计并实现基于情绪监测的高血压管理系统,使用My SQL数据库,基于Spring Boot、Mybatis等框架研发,系统具备高血压患者的数据采集、数据展示、情绪识别、情绪干预、患者管理、统计分析以及系统管理等功能模块,实现高血压患者数据风险实时监测以及情绪管理,可以有效降低患者高血压发病风险。

基于负反馈回路的个性化光疗方法研究与应用

这是一篇关于脑电,抑郁,光疗,情感计算的论文, 主要内容为抑郁症是一种常见的心理障碍,会对患者的情绪、思维等造成负面影响,目前已对全球数亿人造成了困扰。在抑郁症的主流治疗方式中,药物疗法副作用大、起效慢、治疗应答率低;心理疗法则耗时耗力且价格高昂,许多患者难以承受。因此,一些研究人员开始探索新的治疗方法,光疗法就是其中之一。光疗法副作用小、疗效显著、成本较低,近年来受到了越来越多的关注。在光疗法过程中,不合适的参数会影响光疗法的效果,参数的设置是光疗法当中十分重要的一环。现有光疗法参数设定缺乏科学依据,忽略患者的个体差异性,且无法根据患者的状态变化做出动态参数调整,不能保证良好的治疗效果。因此,针对现有光疗法的不足,本研究提出了一种基于负反馈回路的个性化光疗方法,通过将现有光疗法与脑电信号分析方法相结合,根据不同个体的不同脑电特征设置个性化的光疗参数,并动态更新调整光疗参数,从而实现个性化光疗。经由实验证明,本文提出的个性化光疗方法相较现有光疗法,疗效有了明显提升。本文主要的研究内容及贡献如下:(1)提出基于负反馈回路的个性化光疗方法。针对现有光疗法参数设置忽视个体差异的不足,以脑电信号分析方法结合光疗法的形式对被试进行个性化光疗。使用唤醒价与效价作为被试情绪状态评价指标,并使用脑电信号对该评价指标进行量化。通过量化后的指标评估被试光疗期间的情绪状态变化,以得到被试的个性化光疗评估参数。提出GA-NNRank模型,基于此模型对个性化光疗参数进行预测,通过个性化光疗参数实现个性化光疗方法。最后,引入负反馈回路,对预测参数与评估参数具有差异的数据进行参数校正,并对模型再次训练以更新模型参数,提升光疗法参数设置的准确性。(2)基于个性化光疗方法构建个性化光疗时长模型,并设计开发光照时长推荐系统。针对光疗法中关键的时长参数,构建脑电特征-光照时长数据集。对数据集进行训练集、验证集、测试集的划分后,使用Relief F算法进行特征选择、MTD算法进行数据增强,并对训练集、验证集、测试集分别进行归一化。构建个性化光疗时长模型,并使用ACC与F1分值对模型进行评价。设计开发光照时长推荐系统,包括脑电采集与处理模块、光照时长选择模块以及数据存储与管理模块,分别对这几个模块分别进行了界面与功能设计。(3)使用光照时长推荐系统对个性化光疗方法进行实验验证。进行被试招募,将招募到的30名被试划分为个性化光疗时长组、光疗时长固定组以及无光照对照组三个组别,对各组以不同的实验范式进行实验。经过六周的实验后,个性化光疗时长组的病人健康问卷抑郁自评量表(PHQ9)量表评分下降了54.29%,抑郁自评量表(SAS)评分下降了25.47%,焦虑自评量表(SDS)评分下降了22.60%,在各个量表评分上都表现出了更快的下降趋势与下降幅度,充分证明了本文提出方法的有效性。