基于多头图注意力机制与图模型的多标签图像分类研究

这是一篇关于多标签图像,图像分类,图注意力网络,图结构,残差神经网络的论文, 主要内容为多标签图像分类是多标签数据分类问题中的研究热点,多标签图像在遥感图像识别、军事刑侦、生物医学等多个领域都得到了广泛的研究和应用,在人民生活与国民经济中都承担着重要的角色。如何高效挖掘多标签图像中标签类别间的相关关系信息,从而提升多标签图像分类模型的分类性能,是一项具有意义的研究工作。鉴于目前多标签图像分类方法存在的问题和其重要的应用价值,本文将多头图注意力机制和图模型相结合,提出了两种多标签图像分类模型:(1)针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关关系信息的问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT)。模型包含基于Res Net101模型的图像特征提取模块、基于词嵌入和图结构的标签向量转换模块、基于多头图注意力机制的标签注意力权重学习模块以及基于融合特征的分类器模块。在公开数据集VOC-2007和COCO-2014上进行实验,ML-M-GAT模型平均均值精度(m AP)分别为94%和82.2%,均优于CNN-RNN、Res Net101、MLIR、MIC-FLC模型,比Res Net101模型分别提高了4.2%和3.9%。实验结果表明,所提ML-M-GAT模型能够利用图像标签关系信息提高多标签图像分类性能。(2)为了进一步提高多标签图像分类的精度,本文将通道注意力机制和空间注意力机制引入图像视觉特征提取器,通过CBAM学习图像中重要部位的特征,提出了一种基于文本-视觉多头图注意力与图模型的多标签图像分类模型(V-ML-M-GAT),模型通过在深度神经网络提取图像特征的基础上,引入多头文本-视觉注意力机制与图模型,提升多标签图像分类模型的性能。并在两大公开多标签图像数据集上与多种模型进行对比实验,V-ML-M-GAT模型在VOC-2007和COCO-2014数据集上的平均均值精度(m AP)分别为95.7%和84.3%,比ML-M-GAT模型分别提高了1.7%和2.1%。实验结果表明,所提V-ML-M-GAT模型能够更好的学习到多标签图像的视觉表示特征,同时也能学习到图像标签之间的相关信息以及标签语义与图像特征的对应关系,具备良好的多标签图像分类性能。

弱视儿童fNIRS数据分析与识别算法研究

这是一篇关于fNIRS,弱视,图结构,图卷积神经网络,潜在生物标记的论文, 主要内容为目前,我国0～14岁儿童的数量约为2.2亿,其中弱视的发病率约为2%-3%。弱视严重影响儿童的日常生活,阻碍儿童身心健康发展,给儿童及其家庭造成无尽的困扰和伤害。现代医学研究表明,弱视患者接受治疗的时间越早视力恢复效果越好,12岁以下的弱视儿童经过及时治疗完全可以恢复正常。因此,实现弱视儿童早期鉴别具有非常重要的意义。作为新兴的脑功能成像技术,功能近红外光谱成像技术(Functional Near Infrared Spectroscopy,fNIRS)具有非侵入性、易用性、实时性、可长时间采集等特点,特别适合弱视儿童群体。为了促进弱视儿童自动识别算法、分析方法及寻找潜在生物标记等方面的研究,本文设计并完成实验设置、数据采集、数据分析、特征提取、生物标记寻找、新型图结构构建、弱视儿童识别等一系列工作,提出基于图结构和图卷积神经网络(Graph Convolutional Network,GCN)的分类算法并进行弱视儿童识别实验。本文同时实现了基于B/S架构的在线智能医疗辅助分析与诊断系统,为医生对弱视儿童临床诊断提供了辅助手段和数据支撑。本文的主要工作具体如下:(1)构造弱视儿童和正常视力儿童的fNIRS数据集。数据集共包含78名儿童的实验数据,其中弱视儿童40名,视力正常儿童38名,所有数据均来自与医院合作采集的临床数据。数据集构造工作主要分为两步:第一步设计实验范式并采集fNIRS数据,数据分析后将结果与医生沟通以改进实验设计,最终确定较为理想的实验方案;第二步是预处理,判断数据的适用性并删除采集异常和特征异常的数据,并进行频谱分析设计合适的带通滤波器滤除数据中的噪声。(2)进行fNIRS数据分析和特征提取并获得一组潜在生物标记。开展基于排序熵方法的复杂度分析与组间分析和基于小波包分解方法的能量特征提取与组间分析的实验。结果显示,弱视儿童组各通道数据的复杂度和能量特征均显著高于正常儿童组。弱视儿童组不同通道间能量特征幅值差距大,而正常儿童组各通道的能量特征分布很均衡。基于双样本t检验的结果显示复杂度特征在超过一半的通道中表现出显著差异性。这表明复杂度和能量特征是一种潜在的识别弱视儿童的生物标记。本文同时对统计特性和Hjorth参数等余量特征进行组间差异性验证。实验结果证明余量特征差异显著。本文共筛选出差异显著的12种特征用于后续分类,并作为一组潜在的生物标记。(3)提出基于图结构与GCN的分类算法进行弱视儿童识别。所提算法解决了已有fNIRS数据分类研究中未能有效利用脑区连通性信息的问题。所提算法将通道定义为图结构的节点,节点包含的信息为对应通道中提取的特征或原始数据,将任何通道对之间相关系数的绝对值定义为图结构的边。通过这种方式,为每个对象构造无向加权功能性图结构,并设置阈值来消除具有虚假连接的边。并且,算法首次将GCN应用到基于fNIRS数据的弱视儿童识别领域。之后,在构造的数据集上设计并开展一系列弱视儿童识别实验,并同传统机器学习算法进行对比。实验结果显示,所提算法的分类性能远胜于其它方法,准确率高达86.40%。基于此算法生成弱视儿童自动识别模型,为医生提供了一种辅助诊断手段。在两个公开fNIRS数据集上的分类实验结果显示,所提算法分类性能优于已有研究,证明了算法的鲁棒性。所提算法可推广到fNIRS数据分类领域,具有很好的普适性和应用前景,为fNIRS数据分类提供了一种新的思路和研究方法。(4)基于上述数据分析和分类算法,本文针对弱视儿童设计并实现了在线智能医疗辅助分析与诊断系统。系统提供患者fNIRS数据分析与可视化展示、弱视儿童自动识别和潜在生物标记计算等功能,医生随时随地分析患者数据、观察潜在神经生理学特点及做出初步诊断等,可推动弱视儿童的数据驱动诊断和治疗。

基于知识图谱构建的推理补全算法

这是一篇关于知识图谱,关系推理,逻辑规则推理,图结构,表示学习推理的论文, 主要内容为步入21世纪后,随着信息技术的革命,计算机相关技术得到了飞速的发展,与此同时,互联网世界中各种信息数据也呈现指数级的增长,在带给我更为便利的生活方式的同时,也让我们思考如何去处理如此庞大的数据。面对如此庞大的数据量,谷歌公司率先研究更为先进的数据处理手段并在2012年提出了知识图谱概念。知识图谱技术简单来说就是构造拥有众多实体和关系为基础的结构化信息的关系集合,它是实现大数据技术、人工智能相关应用、智能问答系统等应用的基础。其中知识图谱构建包括知识信息抽取、实体链接与消歧义、关系推理等几个关键技术。关系推理补充技术作为其中关键的步骤之一,它赋予了计算机一定的“思考”能力,也让计算机自主完善知识图谱成为可能,因此是本文的重点研究技术。关系推理补全技术的作用为:已知知识图谱数据集中部分三元组,通过统计学习或者向量映射等手段,对三元组分析、总结和归纳。寻找并发掘知识图谱中潜在的事实或新的三元组信息,使得原本的知识图谱数据更为完善。本文先对推理补全算法的发展做了详细的调研,最后在表示学习和逻辑规则游走方向各提出了一个算法。主要工作归纳如下:1、对现有关系推理技术背景做了调研,分析了常用主流推理算法优缺点,并且介绍了关系推理中的常用技术背景。2、改进基于表示学习方法:在Trans E推理算法上的基础上提出Trans E描述补充算法(Trans E Descriptive Supplementary Reasoning,TDSR)。用补充的事实描述增加推理中三元组实体之间语义的空间距离,通过增大容错空间来提升推理的准确率,在实验部分,相关结果也验证了本章算法的有效性。3、优化基于逻辑的推理算法:分析了逻辑规则相关算法模型,并据特征路径算法提出了无向图游走推理算法(Undirected Graph Radom Walk,UGRW),此算法分为无向图逻辑推理和关系子图推理两部分,利用知识图谱中三元组数据,学习训练特定关系所对应的推理模型,把无向图拓朴结构分为全局图与关系子图,分别进行处理,通过特征建模与邻接矩阵的计算,从而完成关系推理任务。最后在FB15k和WN18两组数据集上对融合推理表现进行分析,并对关系子图推理部分在四种不同关系类型下的不同表现行了讨论。

面向文本关系抽取的关键技术研究

这是一篇关于关系抽取,文档级,少样本,图结构,预训练语言模型的论文, 主要内容为关系抽取意在抽取文本中实体对的关系,对于知识图谱的构建起着重要作用,是自然语言处理中重要任务之一。关系抽取面临着诸多挑战,尤其是复杂语境和学习能力带来的文档级关系抽取以及少样本关系抽取问题。本文重点研究了针对上面两个问题现阶段的工作以及存在的不足并进行了相应的改进。我们发现以下几个不可忽视的问题:1)现阶段的文档级关系抽取模型一般只从单方面捕获信息;2)文档级关系抽取模型或者是依赖于外部解析器构造分析树等导致继承错误,或者是在图结构的路径推理中将不同轮次的权重视为相同;3)现阶段一些少样本关系抽取采用预训练语言模型的方法,但它们将知识图谱中实体嵌入和token嵌入进行融合时没有很好地将二者映射到相同子空间。针对上述两个问题,我们研究工作如下:·针对文档级关系抽取,我们提出了一种新的方法—IPR-DCGAT:一种基于迭代路径推理的密集连通图注意力网络模型。IPR-DCGAT使用不同类型节点为每个文档构建了一个异构图结构。方法的主要思想在于使用密集连通图注意力网络(DCGAT)来计算相邻节点的注意力权重来更新节点表示;同时通过多轮迭代路径推理算法进一步捕获句子之间的结构信息。我们在三个文档级关系抽取数据集上进行了大量的实验,实验结果相对优于目前最先进的方法。·针对少样本关系抽取,我们提出了一种新的预训练语言模型—A-BERT,同时A-BERT也适用于其他下游任务:A-BERT首先将实体嵌入映射到原始语言模型token的子空间,其次实体和token相互对齐使用注意力机制更新彼此表示,同时新增token-实体对齐任务的优化目标来对语言模型重新预训练。在一个少样本关系抽取和一个实体类型推理数据集上分别进行了实验,方法的结果相对优于目前最先进的方法。

基于图卷积神经网络的时序知识图谱推理算法研究及应用

这是一篇关于时序知识图谱,时序信息,图结构,知识图谱推理的论文, 主要内容为知识图谱是一种基于图的数据结构,其本质上是语义网络,能够很好的承载现实世界中的知识信息。现实生活和虚拟网络中存在许多类型的图数据,例如:社交网络、情报关系网络、学术合作网络等。这些数据都不是一成不变的,更多倾向于在某个特定的时间段内成立,并呈现出随时间不断动态演化的特点。挖掘动态数据并进行可视化分析,掌握动态数据的变化趋势对人类预测未来事件有着重要意义。时序知识图谱是在知识图谱的基础上增加了时间信息,其关系往往和时间紧密关联,这使得“知识”变得与时俱进。基于时序知识图谱做实体或者关系预测,是知识图谱推理的方向之一。现有的大多数推理模型主要处理时间点或者时间范围以及实体/关系的动态演化过程的信息。基于静态知识图谱拓展的时序推理模型在处理动态、连续的时序知识图谱时存在较大的局限性,该模型难以兼顾时间和图结构的语义信息,这导致数据的时序信息运用不充分。本文针对以上问题展开研究,调研国内外有关时序知识图谱推理文献,并进行整理归纳,基于具有代表性的模型进行优化改进,提出了两种兼具创新性与有效性模型。为研究其应用价值,本文设计与实现面向俄乌冲突的时序知识图谱推理系统。论文具体工作如下:(1)提出了基于注意力机制和多关系事件的时序知识图谱推理模型针对现有模型时序编码信息能力差、推理模型长依赖等问题,为增强时序编码准确性,本文引入多头注意力机制作为序列编码器提高模型对序列信息的捕获能力,缓解模型因序列受长度限制的长依赖问题。同时,为增强知识图谱的语义结构化信息,提出注意力邻域编码器以充分学习查询任务下相关事实的关联性。最后,为验证模型的有效性,本文在大型公开数据集YAGO和WIKI上进行实验验证,验证了模型在时序知识图谱推理任务上的有效性。(2)提出了基于实体多维特征编码的时序知识图谱推理模型针对现有研究中实体信息获取片面、缺乏不同历史信息对待推理事件重要性度量与实体稳定性信息等问题。本文提出了实体多维编码保留多维实体语义信息,实体多维编码旨在引入三种实体特征编码,包括历史时间步上相对稳定的实体片段特征编码、实体演化特征编码、实体瞬时图特征编码的实体动态特征编码。同时,为充分利用三种编码的语义信息,引入多维感知卷积神经网络进行有效解码,计算得到不同维度下的预测得分并统计后得到最后的置信分数。最后在ICEWS14、ICEWS18、WIKI数据集上进行实验证明模型的有效性。(3)设计与实现面向俄乌冲突的时序知识图谱推理系统自俄乌冲突爆发以来,战争的局势一直备受关注,尽管网络上存在许多有关俄乌冲突的报道,因其数据离散且多为非结构化数据使得数据分析变得十分困难。针对以上问题,搜集网络中俄乌冲突事件相关数据,将文本所提模型作为后台推理算法,设计与实现面向俄乌冲突的时序知识图谱推理系统。该系统提供了按时间进行事件查询、知识推理以及可视化展示等功能,通过在俄乌冲突数据集上的应用,验证了时序知识图谱推理模型在实际应用场景进行事实的可行性。

基于上下文感知及特征交互建模的个性化推荐系统研究

这是一篇关于上下文感知推荐系统,个性化推荐,特征交互,图结构,注意力机制的论文, 主要内容为随着大数据时代的到来,互联网的存储信息量增长迅速。人们享受着大数据带来的福利,同时也面临着被数据信息包围的困扰,也就是“信息过载”问题。个性化推荐系统能够自发的学习用户的行为、了解用户的信息,并以此来对用户的兴趣进行学习,因此,个性化推荐系统成为解决“信息过载”问题最有效的方式之一。上下文感知推荐系统是一种典型的个性化推荐方法。上下文感知推荐系统的优点是能够充分考虑上下文环境对用户兴趣的影响,因此相较于传统的推荐系统方法,上下文感知推荐系统拥有更高的推荐准效率,引起了人们的广泛关注。当前上下文感知推荐算法都是简单地将多域特征(用户、项目和上下文信息特征)映射到共享的隐语义空间中,然后将其连接到深度神经网络或其他专门设计的网络中。在这些研究中,多域特征之间进行了简单非结构化的组合,因此,其建模特征交互的方式缺乏一定的灵活性和显式性;此外,将上下文和用户(或项目)映射到共享的隐语义空间中来捕获上下文对用户(或项目)的交互作用,只能学习到上下文和用户(或项目)之间简单的交互关系,而隐藏在上下文-用户(或项目)交互中的协同信号没有被学习到,因此推荐效率较差。为了解决以上问题,我们做了以下工作:(1)基于图神经网络和上下文感知的行为预测及推荐我们提出利用图结构来直接表示多域特征,构造了上下文-用户(或项目)特征交互图,图中的每个节点代表一个域特征,不同的域特征能够通过图中的边来进行连接和交互,因此,建模上下文-用户(或项目)特征交互关系的任务可以转换为对图上的节点交互进行建模。为此,我们设计了一个新的模型——上下文感知图神经网络(CA-GNN)。这种利用图结构来建模多域特征间交互的方法,能够以灵活和显式的方式建模不同域特征之间复杂的交互关系。实验证明,我们提出的CAGNN算法在Food数据集和Yelp数据集上的效果都优于其他基线方法。与之前较为先进的模型相比,在Food数据集上,CA-GNN模型在RMSE指标上提高了2.2%,在MAE指标上,CA-GNN比之前较为先进的注意力交互网络模型模型提高了1.8%;在Yelp数据集上,CA-GNN模型在RMSE指标上提高了1.4%,在MAE指标上提高了1.3%。(2)基于注意力交互图神经网络的上下文感知推荐系统研究我们提出将上下文-用户(或项目)的特征交互关系构造成二部图结构,利用图卷积网络来优化用户和项目的嵌入向量。同时,我们还利用注意力机制学习到不同上下文因素对用户(或项目)的重要影响度。为此,我们设计了一个新的模型——注意力交互图卷积网络(Ai-GCN),它可以建模上下文-用户(或项目)图中的高阶连通性,有效地将上下文和用户(或项目)间的协同信号以显式的方式注入到嵌入过程中。实验证明,我们的Ai-GCN模型在Frappe数据集上的表现都优于其他基准模型。具体的,与之前较为先进的模型相比,在Precision@5指标上,Ai-GCN提高了0.2%;在Precision@10指标上,Ai-GCN提高了1.2%;在Recall@5指标上,Ai-GCN提高了2.4%;在Recall@10指标上,Ai-GCN提高了8.6%。本文建立的CA-GNN模型和Ai-GCN模型都兼具“普适计算”和“个性化”两种优势,通过考虑上下文环境的影响,它们能够进一步提高推荐精确度和用户满意度。在未来的应用场景中,CA-GNN模型能够很好的适用于推荐系统的评分预测任务中,Ai-GCN模型能够很好的适用于推荐系统的个性化排序任务中。

基于多头图注意力机制与图模型的多标签图像分类研究

这是一篇关于多标签图像,图像分类,图注意力网络,图结构,残差神经网络的论文, 主要内容为多标签图像分类是多标签数据分类问题中的研究热点,多标签图像在遥感图像识别、军事刑侦、生物医学等多个领域都得到了广泛的研究和应用,在人民生活与国民经济中都承担着重要的角色。如何高效挖掘多标签图像中标签类别间的相关关系信息,从而提升多标签图像分类模型的分类性能,是一项具有意义的研究工作。鉴于目前多标签图像分类方法存在的问题和其重要的应用价值,本文将多头图注意力机制和图模型相结合,提出了两种多标签图像分类模型:(1)针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关关系信息的问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT)。模型包含基于Res Net101模型的图像特征提取模块、基于词嵌入和图结构的标签向量转换模块、基于多头图注意力机制的标签注意力权重学习模块以及基于融合特征的分类器模块。在公开数据集VOC-2007和COCO-2014上进行实验,ML-M-GAT模型平均均值精度(m AP)分别为94%和82.2%,均优于CNN-RNN、Res Net101、MLIR、MIC-FLC模型,比Res Net101模型分别提高了4.2%和3.9%。实验结果表明,所提ML-M-GAT模型能够利用图像标签关系信息提高多标签图像分类性能。(2)为了进一步提高多标签图像分类的精度,本文将通道注意力机制和空间注意力机制引入图像视觉特征提取器,通过CBAM学习图像中重要部位的特征,提出了一种基于文本-视觉多头图注意力与图模型的多标签图像分类模型(V-ML-M-GAT),模型通过在深度神经网络提取图像特征的基础上,引入多头文本-视觉注意力机制与图模型,提升多标签图像分类模型的性能。并在两大公开多标签图像数据集上与多种模型进行对比实验,V-ML-M-GAT模型在VOC-2007和COCO-2014数据集上的平均均值精度(m AP)分别为95.7%和84.3%,比ML-M-GAT模型分别提高了1.7%和2.1%。实验结果表明,所提V-ML-M-GAT模型能够更好的学习到多标签图像的视觉表示特征,同时也能学习到图像标签之间的相关信息以及标签语义与图像特征的对应关系,具备良好的多标签图像分类性能。

基于实体与关系上下文动态聚合的知识图谱补全

这是一篇关于知识图谱,图结构,动态聚合,实体上下文,关系上下文的论文, 主要内容为知识图谱(Knowledge graph,KG)作为一种结构化的语义知识库,已成为人工智能领域发展的重要驱动力之一。知识图谱借助资源描述框架将现实中的事实关联以三元组的形式存储为有向图,构建成大规模语义网络。然而随着数据的剧增和数据抽取的不平衡性,知识图谱的数据稀疏性问题也日益严重,对知识图谱进行补全的工作尤为重要。知识图谱补全(Knowledge Graph Completion,KGC)是根据知识图谱中已有的实体和关系预测缺失事实的任务。三元组能有效地表示结构化数据,但其底层符号特性通常使知识图谱很难进行运算操作,而知识图谱嵌入(Knowledge Graph Embedding,KGE)方向的研究能将实体和关系嵌入到连续的低维向量空间,保留知识图谱原有结构的同时简化操作。但通过对这些补全方法的进一步研究发现,仅依靠知识图谱中单一的结构化数据难以进行更精确的补全预测,其中仍存在一些关键性问题。首先,异义实体或相似实体难以精确的表示;另外,许多研究方法引进了文本描述、邻域等多源附加信息来增强实体嵌入表示,但关系这一元素对预测的影响尚未得到充分的利用。基于此,本论文提出了实体上下文(Entity Contexts,Ent Ctx)和关系上下文(Relation Contexts,Rel Ctx)的概念,进行有效筛选后动态地聚合实体上下文和关系上下文信息,从而根据不同语境捕获关系的动态属性和实体的表示偏好,以此提高知识图谱补全的准确度,本文的研究内容概括如下:(1)构建实体上下文和关系上下文:利用知识图谱内部本身的图结构和外部实体描述,构建实体上下文和关系上下文;(2)提出基于结构语义的关系上下文动态聚合模型(RCSS-DA)和基于特定关系的实体上下文动态聚合模型(ECSR-DA),通过联合构建增强不同解码器预测能力的知识图谱补全增强框架EC(?)RC-DA,旨在捕获更多实体关系交互,更好地学习实体上下文和关系上下文潜在的语义信息和特征差异;(3)优化注意力机制,根据查询元素动态调整上下文的注意力得分,捕获逻辑上与查询元素相关度最高的属性特征和细粒度语义;(4)将增强框架EC(?)RC-DA应用于不同类型经典的解码器,并在FB15k-237数据集和WN18RR数据集上进行了实验和分析。实验结果表明,本文提出的EC(?)RC-DA框架有效利用了实体上下文和关系上下文信息提高不同模型的补全性能,在各项基线指标上都有极具竞争力的表现,验证了本文算法的正确性和可行性。