基于注意力卷积网络与残差感知器的知识超图链接预测方法研究
这是一篇关于知识超图,链接预测,注意力机制,卷积网络,残差网络的论文, 主要内容为知识超图链接预测(Knowledge hypergraph Link Prediction,KHGLP)通过知识超图中已知的实体与多元关系来预测出未知的多元关系,是补齐知识超图的有效手段之一,能运用在问答系统、语义分析等诸多领域。但现有最优的基于嵌入模型的知识超图链接预测方法Hyp E,虽实体嵌入时考虑了位置关系,但直接采用初始化的关系嵌入参与最终评分,未考虑不同实体对关系的贡献程度不同,且实体嵌入蕴含信息不够充足,从而制约了算法性能。因此本文展开了研究,主要研究工作包括:(1)针对上述问题,本文提出了一种基于注意力卷积网络的知识超图链接预测方法LPACN(Link Prediction based on Attention Convolution Network)。首先,该方法使用注意力机制来解决实体对关系贡献度的问题,用注意力机制来处理元组,根据注意力权重来提取出实体中对关系有益的信息,并将这些信息添加到关系向量中。然后,对于实体嵌入蕴含信息不够充足的问题,该方法向卷积网络中提取实体特征的卷积核添加同元组内相邻实体数目信息,使实体嵌入包含更多信息。(2)虽然LPACN性能有提升,但仍存在梯度消失问题,因此本文继续提出一种基于残差感知器的改进方法LPACN+。为了缓解梯度消失的问题,本文使用改进的残差网络(Residual Net)来优化LPACN,通过一个跳连接来为模型恢复已经消失的梯度,并使用软阈值模块来提高方法的鲁棒性。此外,为了进一步增强模型的非线性学习能力,在残差网络之后添加一个多层感知器(Multilayer Perceptron,MLP),得到最终的改进模型LPACN+。真实数据集上进行的大量实验结果表明,本文提出的LPACN方法在链接预测能力上较Baseline方法提升7.4%,而且对比实验结果也验证了本文提出的改进模型LPACN+的有效性。
基于多通道卷积神经网络的多模态情感分析研究
这是一篇关于多模态情感分析,注意力机制,卷积网络,自适应融合,预训练模型的论文, 主要内容为情感分析研究一直是图像、视频和自然语言处理领域的研究热点之一。近年来,随着深度学习的发展和互联网时代的快速到来,社交媒体和电商平台如微博、Twitter、Tik Tok、论坛和淘宝等已成为人们日常娱乐和情感抒发的主要平台,这也导致了大量具有鲜明个人情感特征的信息涌现,包括文本、视频和音频等。情感分析在加强用户使用体验、帮助商家提高服务质量、个性化推荐以及政府部门进行舆论监控等方面变得尤为重要。早期的研究人员往往使用传统方法处理情感数据,并且研究模态单一,导致识别效果差、准确度低、难以应用到实际场景中。随着深度学习的发展和神经网络的改进,考虑不同模态信息对单一模态进行多角度的补充无疑是更好的方法。因此,越来越多的研究者开始尝试使用多模态的情感信息来提高情感分析的结果。针对基于深度学习的多模态情感分析研究,本文研究内容及成果如下:(1)提出了一种基于语谱图与统计特征相融合的音频情感分析方法。该方法采用双通道端到端网络结构,具体为通过处理原始语音信息得到语谱图,采用卷积神经网络(Convolutional Neural Network,CNN)来提取情感特征。考虑到不同卷积核对提取特征的影响,对第一层卷积核进行拆分处理,使用不同尺度的卷积核来提取语谱图中时域和频域的信息后再做结合得到语谱图特征信息;同时提取原始语音信号的低阶手工特征(Low Level Descriptors,LLD),再对LLDs进行函数运算得到统计特征(High Level Statistics Functions,HSF);最后将两种特征进行自适应融合,使模型自主选择对情感分析更有帮助的部分,再通过全连接层和归一化层进行分类,得到情感极性。该方法将传统统计特征融入进语谱图中,提高了模型的鲁棒性,实验结果显示该模型在准确率和F1 Score两个指标均具有良好的性能。(2)提出了一种基于人脸编码及上下文感知相融合的图像情感分析方法,该方法针对图像信息,首先使用多任务卷积网络(Multi-task convolutional neural network,MTCNN)剪裁人脸图像和剩余背景图像,随后将人脸图像通过改进的3D卷积层进行情感特征提取,同时将背景图像同样进行3D卷积特征提取后通过注意力机制处理得到包含注意力影响的背景上下文特征,最后将获得的两种特征进行融合后分类。实验结果表明,该方法不仅通过人脸表情得到情感特征,还考虑到人们说话时的肢体表达,在准确率上也具有明显的性能提升。(3)提出了一种基于视觉、音频与文本模态融合的跨模态BERT(Bidirectional Encoder Representations from Transformer)模型来进行情感分析,在单模态情感分析的基础上加入其它模态并融合。该方法首先将图像和音频输入到各自的子网络进行特征提取并控制维度,随后输入到掩码多模态注意力模块(Masked Multimodel Attention,MMA),通过自注意力方法融合图像和音频特征得到双模态注意力矩阵,然后将文本信息通过预训练BERT模型提取特征输入到MMA模块,与双模态注意力矩阵融合并归一化得到多模态注意力权重矩阵,最后将权重矩阵进行Mask掩码处理并与初始文本特征相结合,获得多模态情感分类结果。实验结果展现出基于多模态融合的情感分类算法具有比单模态情感分类算法更好的结果,并且在三个公开数据集上的性能也优于其他情感识别多模态融合模型。本文针对音频与图像单模态分别提出了两种不同的情感分析方法,来应对不同的场景,并在不同模态数据集上进行测试,最高精度分别为71.86%和77.95%;同时考虑到单模态情感分析的局限性,提出了一种多模态融合情感分析方法,并通过测试获得最高精度为85.2%的实验结果。
基于注意力卷积网络与残差感知器的知识超图链接预测方法研究
这是一篇关于知识超图,链接预测,注意力机制,卷积网络,残差网络的论文, 主要内容为知识超图链接预测(Knowledge hypergraph Link Prediction,KHGLP)通过知识超图中已知的实体与多元关系来预测出未知的多元关系,是补齐知识超图的有效手段之一,能运用在问答系统、语义分析等诸多领域。但现有最优的基于嵌入模型的知识超图链接预测方法Hyp E,虽实体嵌入时考虑了位置关系,但直接采用初始化的关系嵌入参与最终评分,未考虑不同实体对关系的贡献程度不同,且实体嵌入蕴含信息不够充足,从而制约了算法性能。因此本文展开了研究,主要研究工作包括:(1)针对上述问题,本文提出了一种基于注意力卷积网络的知识超图链接预测方法LPACN(Link Prediction based on Attention Convolution Network)。首先,该方法使用注意力机制来解决实体对关系贡献度的问题,用注意力机制来处理元组,根据注意力权重来提取出实体中对关系有益的信息,并将这些信息添加到关系向量中。然后,对于实体嵌入蕴含信息不够充足的问题,该方法向卷积网络中提取实体特征的卷积核添加同元组内相邻实体数目信息,使实体嵌入包含更多信息。(2)虽然LPACN性能有提升,但仍存在梯度消失问题,因此本文继续提出一种基于残差感知器的改进方法LPACN+。为了缓解梯度消失的问题,本文使用改进的残差网络(Residual Net)来优化LPACN,通过一个跳连接来为模型恢复已经消失的梯度,并使用软阈值模块来提高方法的鲁棒性。此外,为了进一步增强模型的非线性学习能力,在残差网络之后添加一个多层感知器(Multilayer Perceptron,MLP),得到最终的改进模型LPACN+。真实数据集上进行的大量实验结果表明,本文提出的LPACN方法在链接预测能力上较Baseline方法提升7.4%,而且对比实验结果也验证了本文提出的改进模型LPACN+的有效性。
基于多通道卷积神经网络的多模态情感分析研究
这是一篇关于多模态情感分析,注意力机制,卷积网络,自适应融合,预训练模型的论文, 主要内容为情感分析研究一直是图像、视频和自然语言处理领域的研究热点之一。近年来,随着深度学习的发展和互联网时代的快速到来,社交媒体和电商平台如微博、Twitter、Tik Tok、论坛和淘宝等已成为人们日常娱乐和情感抒发的主要平台,这也导致了大量具有鲜明个人情感特征的信息涌现,包括文本、视频和音频等。情感分析在加强用户使用体验、帮助商家提高服务质量、个性化推荐以及政府部门进行舆论监控等方面变得尤为重要。早期的研究人员往往使用传统方法处理情感数据,并且研究模态单一,导致识别效果差、准确度低、难以应用到实际场景中。随着深度学习的发展和神经网络的改进,考虑不同模态信息对单一模态进行多角度的补充无疑是更好的方法。因此,越来越多的研究者开始尝试使用多模态的情感信息来提高情感分析的结果。针对基于深度学习的多模态情感分析研究,本文研究内容及成果如下:(1)提出了一种基于语谱图与统计特征相融合的音频情感分析方法。该方法采用双通道端到端网络结构,具体为通过处理原始语音信息得到语谱图,采用卷积神经网络(Convolutional Neural Network,CNN)来提取情感特征。考虑到不同卷积核对提取特征的影响,对第一层卷积核进行拆分处理,使用不同尺度的卷积核来提取语谱图中时域和频域的信息后再做结合得到语谱图特征信息;同时提取原始语音信号的低阶手工特征(Low Level Descriptors,LLD),再对LLDs进行函数运算得到统计特征(High Level Statistics Functions,HSF);最后将两种特征进行自适应融合,使模型自主选择对情感分析更有帮助的部分,再通过全连接层和归一化层进行分类,得到情感极性。该方法将传统统计特征融入进语谱图中,提高了模型的鲁棒性,实验结果显示该模型在准确率和F1 Score两个指标均具有良好的性能。(2)提出了一种基于人脸编码及上下文感知相融合的图像情感分析方法,该方法针对图像信息,首先使用多任务卷积网络(Multi-task convolutional neural network,MTCNN)剪裁人脸图像和剩余背景图像,随后将人脸图像通过改进的3D卷积层进行情感特征提取,同时将背景图像同样进行3D卷积特征提取后通过注意力机制处理得到包含注意力影响的背景上下文特征,最后将获得的两种特征进行融合后分类。实验结果表明,该方法不仅通过人脸表情得到情感特征,还考虑到人们说话时的肢体表达,在准确率上也具有明显的性能提升。(3)提出了一种基于视觉、音频与文本模态融合的跨模态BERT(Bidirectional Encoder Representations from Transformer)模型来进行情感分析,在单模态情感分析的基础上加入其它模态并融合。该方法首先将图像和音频输入到各自的子网络进行特征提取并控制维度,随后输入到掩码多模态注意力模块(Masked Multimodel Attention,MMA),通过自注意力方法融合图像和音频特征得到双模态注意力矩阵,然后将文本信息通过预训练BERT模型提取特征输入到MMA模块,与双模态注意力矩阵融合并归一化得到多模态注意力权重矩阵,最后将权重矩阵进行Mask掩码处理并与初始文本特征相结合,获得多模态情感分类结果。实验结果展现出基于多模态融合的情感分类算法具有比单模态情感分类算法更好的结果,并且在三个公开数据集上的性能也优于其他情感识别多模态融合模型。本文针对音频与图像单模态分别提出了两种不同的情感分析方法,来应对不同的场景,并在不同模态数据集上进行测试,最高精度分别为71.86%和77.95%;同时考虑到单模态情感分析的局限性,提出了一种多模态融合情感分析方法,并通过测试获得最高精度为85.2%的实验结果。
基于柔性感知的人体运动热舒适检测及健康预警研究
这是一篇关于运动热舒适,运动心率检测,深度学习,卷积网络,多模态检测的论文, 主要内容为运动热舒适对于人体健康至关重要,良好的热舒适状态有助于提高锻炼效率,并提升楼宇的能效管理。然而,当前缺乏有效的非接触式人体运动热舒适检测和健康预警方法。本文基于计算机视觉技术,从柔性感知的角度,对人体运动热舒适展开研究,构建相关非接触式检测算法,实现人体运动热舒适检测和健康预警。主要工作阐述如下:1)构建一个多模态运动热舒适数据集(DOST:Dataset Of Sports thermal comfor T)。DOST的数据源自指定场景,感知设备为热成像双光谱相机和Polar H10心率带。邀请20位受试者参与实验。在运动状态下,分别捕获可见光、红外热成像视频各120分钟,计21.6万帧和18万帧,同时捕获心率数据120分钟。经过数据预处理和匹配,DOST共有一一对应的可见光和红外热成像图片分别3.6万张,心率数据7200条。同时构建了动作与人体运动热舒适状态的映射关系以及健康状态与心率区间映射关系。2)提出基于改进YOLOv5的单模态运动热舒适检测算法。本文通过优化YOLOv5的主干网络,提取并匹配可见光图片与动作的特征关系。首先将轻量级网络Shuffle Net引入YOLOv5模型,构建了基于Sh-YOLOv5的单模态运动热舒适检测算法。其次,为了进一步提升推理速度、降低模型占用空间,本文将MobileNet引入YOLOv5模型,构建了基于MoYOLOV5的单模态运动热舒适检测算法。数据验证显示,Mo-YOLOv5模型性能最优,模型占用空间为YOLOv5的21.4%,推理速度较YOLOv5提升14.9%。3)提出基于改进YOLOv5的多模态运动热舒适检测算法。本文通过优化Mo-YOLOv5的颈部网络和损失函数,进一步提取并匹配红外热成像图片与心率的特征关系。首先引入GAM、Sim和SE注意力机制与Mo-YOLOv5相融合,通过实验分析构建了基于SimMoYOLOv5的多模态运动热舒适检测算法。其次为了进一步提升网络检测精度,本文对SimMo-YOLOv5模型进行消融实验,融合加权双向特征金字塔BiFPN与Focal-SIoU损失函数,构建B-YOLOv5网络模型。数据验证显示,B-YOLOv5模型性能最优,模型精度相较于Mo-YOLOv5提升了3.9%,相较于SimMo-YOLOv5提升了0.9%。4)设计一种运动热舒适检测及健康预警系统。本文构建了一个运动热舒适检测及健康预警系统,该系统主要包含动作及心率检测模块、运动热舒适检测模块、健康预警模块。通过动作及心率检测模块得到运动者的动作及心率信息;运动热舒适检测模块根据动作信息得到运动热舒适状态;健康预警模块结合动作与心率信息对运动者的健康状态进行判定。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设项目助手 ，原文地址：https://m.bishedaima.com/lunwen/52500.html
