基于异构图神经网络的文档级关系抽取研究与应用
这是一篇关于文档级关系抽取,注意力机制,异构图神经网络,知识图谱的论文, 主要内容为在大数据蓬勃发展的背景下,各行各业中产生了海量的复杂文本数据,这为人们筛选关键信息带来困难。在非结构化的文本中抽取关系三元组是信息筛选的关键步骤。文档中的关系三元组包含句内和跨句两类,以往的研究围绕句子级关系抽取,主要抽取句内三元组,而未考虑跨句三元组。因此,近年来文档级关系抽取任务受到学术界的关注。然而,目前文档级关系抽取任务中仍存在跨句三元组难以预测,关系标签间存在关联的问题。针对上述问题,本文从证据引导和标签相关性角度对模型进行优化。论文的主要工作包括:(1)提出自适应证据引导的异构图神经网络模型(Adaptive Evidence guidance Heterogenous Graph Neural Network,Adapt Evi HGNN)。利用证据句预测模块计算文档证据置信度,引导异构图神经网络模型对节点进行卷积计算,这可以更好地聚合节点的局部信息。通过在Doc RED和CDR数据集进行对比实验,Adapt Evi-HGNN模型的F1分数分别为61.12和69.84。(2)在AdaptEviHGNN模型的基础上引入关系标签序列生成模块,提出基于关系标签生成的文档级关系抽取模型(Label Sequence Generation for Document-level Relation Extration,LSGDRE)。基于长短期记忆网络的序列生成模块,根据历史的关系标签分类结果和当前文档关系表征,完成关系标签预测,进一步提升Adapt Evi HGNN模型的性能。最终在Doc RED数据集中进行实验,LSGDRE模型的F1分数为61.41。(3)基于LSGDRE模型,实现以实体关系驱动的K-based搜索引擎。首先利用爬虫技术爬取新闻文档,再利用LSGDRE模型抽取文档中的关系三元组,并构建出知识图谱。K-based搜索引擎充分利用了知识图谱的结构化信息,提高了知识搜索的效率。
基于图神经网络的实体关系抽取技术研究
这是一篇关于深度学习,图神经网络,文档级关系抽取,注意力,联合学习的论文, 主要内容为关系抽取是自然语言处理领域重要的研究方向,如何有效地从大量的文本中提取出关系事实,是近年来的研究热点。现阶段的主流方法通常使用深度学习技术进行关系抽取,这些方法大多集中在单个句子中的关系抽取。然而,大多数关系事实只能从一个段落或者一篇文档中抽取。由于段落和文档输入较长,现有的深度学习方法无法准确在文本中定位关系事实位置,并且不能对跨句子的关系进行推理。针对上述问题,本文结合图神经网络技术构建实体图推理跨句子的关系,并联合注意力分布预测来定位关系事实位置。本文的主要贡献包括以下三个部分:1.提出文档级异构图神经网络算法(DH-GNN),其目的在于推理跨句子的关系。DH-GNN首先利用深度学习相关技术获得实体的高阶语义特征表示;其次构建实体的异构图,并结合图神经网络提取实体异构图的结构信息;最后用实体向量拼接的方式对关系事实进行表示和预测。实验结果表明:该方法较现有的深度学习方法在文档级关系抽取的准确率上具有显著的效果。2.提出联合注意力分布预测的图神经网络关系抽取算法(JA-HGNN),其目的在于有效地定位关系事实位置以提高关系预测准确率。JA-HGNN首先通过预测关系事实的注意力分布获得实体的局部表示,并结合DH-GNN算法获得实体的全局表示;其次聚合实体的全局与局部表示的信息后,通过双线性层对关系事实进行预测;最后,JA-HGNN对注意力分布预测和关系预测进行联合训练以减小流水线训练方式带来的传播误差。实验结果表明:该方法能有效定位关系事实位置,减弱无关信息干扰,提升文档级关系抽取的效果。3.为了解决现有关系抽取系统对文档级关系抽取误差较大的问题,本文结合DH-GNN和JA-HGNN算法,对图神经网络关系抽取原型系统进行设计实现。图神经网络关系抽取系统基于B/S的架构设计,包含模型训练、模型预测和报告记录三个模块,浏览器端(B)主要负责报告记录的可视化,服务端(S)主要负责模型训练和模型预测。该系统能有效地抽取文档中多个实体间的复杂关系,这些抽取的关系事实能被应用于知识图谱的构建,智能问答等下游任务。
基于深度学习的中文电子病历实体关系抽取研究
这是一篇关于电子病历,关系抽取,关系重叠,文档级关系抽取,图卷积网络的论文, 主要内容为目的:电子病历作为医院诊断治疗过程中的重要辅助工具,记录了患者从就诊到出院的全过程信息,其中包含大量的医学知识,这些数据是临床决策、医疗知识图谱、智能问诊等应用场景的数据基础。电子病历文本信息的挖掘、分析与使用对智慧医疗起到基础性支撑作用,所以面向中文病历文本的信息抽取任务成为自然语言处理领域的研究热点。关系抽取作为信息抽取的重要组成部分,已经在通用领域得到广泛的研究,尤其是当前,基于深度学习的关系抽取技术在通用领域得到广泛应用。但在中文电子病历关系抽取领域依然面临不少问题,首先,中文电子病历文本的结构与普通文本存在较大差异,不但存在大量的专业术语,而且简洁高效的书写方式也使得一句话中包含多个实体关系信息,存在实体关系重叠问题。其次,电子病历文本通常使用大段的文本来描述一个问题,比如病人的自述、病情的描述以及相应的检查及治疗方案,相比于句子级的关系抽取,电子病历文本上下文联系更强,往往对于一个事件的描述由多个句子构成,文本构成是文档级别的,如何解决文档级关系抽取也是电子病历关系抽取的一大问题。本文从电子病历文本的结构特点出发,针对性的提出解决上述问题的方案。方法及结果:针对实体关系重叠问题,本文提出一种融合实体特征的级联知识抽取模型Em-CasRel。该模型主要由三个部分组成:基于预训练语言模型的编码器模块、实体类型嵌入模块、级联解码器模块。与其他模型将关系抽取任务建模为分配给二元有序实体对上的离散标签的方法相比,本文提出的模型将任务建模为识别特定关系下主体所对应的客体,在减少冗余关系带来的噪声的同时从根本上解决关系重叠问题,而且通过实体类型的嵌入进一步缩小关系类型的范围,提高关系抽取的准确率。在公开数据集CMeIE上F1值为59.73%,提高了1.29%。并应用于人工标注数据集CaMRE,F1值为71.38%,超过其他模型。针对文档级关系抽取问题,本文提出一种双编码器的多层图卷积模型HD-GCN,该模型分为三部分:双通道编码器模块、分层图卷积模块、关系分类模块。与之前的方法相比该模型做了两点改进,首先使用两个平行编码器同时对文档进行编码,分别提取实体间的相互作用与上下文文本信息,与基于单通道或者堆栈的方式相比,既能够更完整全面表示文本特征,又可以避免网络层数过多带来的梯度问题。然后根据不同层次的语义关系构建三个图结构,对于文档中的句子、提及、实体分别构建图结构。在人工标注数据集文档级数据集CaMRE-Doc上F1值为55.93%,优于其他模型。结论:在中文电子病历关系抽取任务中,本文分别设计和提出针对实体关系重叠问题的Em-CasRel模型及针对文档级关系抽取的算法框架,实验结果均优于其他模型,具有较好的研究和应用价值。本文不仅为电子病历关系抽取任务提供了重要的技术方法,还对医疗知识图谱的构建以及智能诊断具有一定的借鉴和推动意义。
基于图神经网络的实体关系抽取技术研究
这是一篇关于深度学习,图神经网络,文档级关系抽取,注意力,联合学习的论文, 主要内容为关系抽取是自然语言处理领域重要的研究方向,如何有效地从大量的文本中提取出关系事实,是近年来的研究热点。现阶段的主流方法通常使用深度学习技术进行关系抽取,这些方法大多集中在单个句子中的关系抽取。然而,大多数关系事实只能从一个段落或者一篇文档中抽取。由于段落和文档输入较长,现有的深度学习方法无法准确在文本中定位关系事实位置,并且不能对跨句子的关系进行推理。针对上述问题,本文结合图神经网络技术构建实体图推理跨句子的关系,并联合注意力分布预测来定位关系事实位置。本文的主要贡献包括以下三个部分:1.提出文档级异构图神经网络算法(DH-GNN),其目的在于推理跨句子的关系。DH-GNN首先利用深度学习相关技术获得实体的高阶语义特征表示;其次构建实体的异构图,并结合图神经网络提取实体异构图的结构信息;最后用实体向量拼接的方式对关系事实进行表示和预测。实验结果表明:该方法较现有的深度学习方法在文档级关系抽取的准确率上具有显著的效果。2.提出联合注意力分布预测的图神经网络关系抽取算法(JA-HGNN),其目的在于有效地定位关系事实位置以提高关系预测准确率。JA-HGNN首先通过预测关系事实的注意力分布获得实体的局部表示,并结合DH-GNN算法获得实体的全局表示;其次聚合实体的全局与局部表示的信息后,通过双线性层对关系事实进行预测;最后,JA-HGNN对注意力分布预测和关系预测进行联合训练以减小流水线训练方式带来的传播误差。实验结果表明:该方法能有效定位关系事实位置,减弱无关信息干扰,提升文档级关系抽取的效果。3.为了解决现有关系抽取系统对文档级关系抽取误差较大的问题,本文结合DH-GNN和JA-HGNN算法,对图神经网络关系抽取原型系统进行设计实现。图神经网络关系抽取系统基于B/S的架构设计,包含模型训练、模型预测和报告记录三个模块,浏览器端(B)主要负责报告记录的可视化,服务端(S)主要负责模型训练和模型预测。该系统能有效地抽取文档中多个实体间的复杂关系,这些抽取的关系事实能被应用于知识图谱的构建,智能问答等下游任务。
基于全局到局部网络与知识注入的文档级关系抽取模型研究
这是一篇关于文档级关系抽取,图神经网络,知识蒸馏,知识图谱的论文, 主要内容为关系抽取旨在识别文本中命名实体间的语义关系,是信息抽取任务的重要组成部分,有着重要的研究和应用价值。虽然之前的工作聚焦于抽取句子内实体间的语义关系,近年来的研究将该任务上升到了文档级别,即文档级关系抽取任务,该任务需要抽取系统能够对文档内的所有实体及其提及进行复杂的推理,包括逻辑推理、共指推理、常识推理等。为了解决现有方法的局限性,本文提出了两个基于深度学习的文档级关系抽取模型:(1)相比句子级关系抽取,文档级关系抽取需要建模文档中更加丰富的语义信息,需要依靠实体的多个位于不同句子的提及来建模实体间复杂交互,但现有工作在提及信息利用上仍存在较多缺陷,因此本文提出了一种新的基于全局到局部神经网络的文档级关系抽取模型即GLRE,该模型综合利用实体的全局表示、实体的局部表示以及上下文关系表示来编码文档信息。实体全局表示对文档中所有实体的语义信息进行建模,实体局部表示针对具体实体对聚合特定实体的多个提及上下文信息,上下文关系表示利用上下文关系对文档的主题信息进行编码。实验结果表明,该模型在文档级关系抽取的两个公共数据集(Doc RED、CDR)上均取得了较好的性能,相较对比方法的最优结果其F1值分别在Doc RED、CDR上提高了3.4、5.4,其在对长距离实体对和多提及实体对的关系抽取上有较好表现。(2)文档级关系抽取需要依靠基于实体及其提及的共指推理和基于额外常识的常识推理,这两类推理的处理需要额外知识的支撑,因此本文提出了一种面向文档级关系抽取的实体驱动的知识注入模型即KIRE,该模型通过多任务学习的方式,将知识图谱和预训练共指消解模型中的知识(涉及共指三元组事实、实体的属性三元组事实和关系三元组事实)引入到现有关系抽取模型中,以此提升任务效果。针对共指三元组事实,采用基于知识蒸馏的方式将共指知识引入到关系抽取模型中。针对实体三元组事实,依次对实体的属性三元组和关系三元组进行语义编码得到基于知识图谱的实体表示,并利用融合重构的方式将学得的实体表示融入到关系抽取模型中。在Doc RED、DWIE数据集上的实验结果表明,KIRE能同时适用于基于图和基于序列的文档级关系抽取模型,并能够普遍提升抽取模型的效果,其F1指标提升幅度可以达到2.62。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码向导 ，原文地址：https://m.bishedaima.com/lunwen/56168.html
