基于多元关系的链接预测算法研究与应用
这是一篇关于多元关系,知识超图,链接预测,图注意力网络,自监督学习的论文, 主要内容为在如今的大数据时代,人们获取的信息和知识以指数级别的速率增长,知识图谱作为保存和运用这些知识的载体被提出,然而仅用二元关系不能表示现实世界中的所有事实,需要由表示任意数量实体之间关联的多元关系构成的知识超图对知识进行组织。但由于知识库构建过程的局限性,使其存在大量的知识缺失,因此利用链接预测算法对知识超图进行补全具有重要意义。多元关系链接预测是基于知识超图中已知的链接预测潜在的事实,并且推动了基于知识超图的下游任务的完成。虽然现有的链接预测技术取得了不错的效果,但仍存在很多问题。例如,在建模结构信息时,对实体的邻域信息以及事实元组之间的信息交互等考虑不够完整。针对以上问题,本文完成的主要工作如下:1.在对邻域结构信息进行考虑时,使用图注意力网络汇聚实体邻域结构信息,以元组-实体对代替邻居实体对的方式,使得模型能够聚集完整的邻域信息,并根据实体位置的不同进行对应的信息提取,使得元组中的不同实体能够获取到的信息存在差别。同时,结合对知识超图有向性约束的建模,将有向性信息也学习到实体嵌入中,使得关系能够更好地感知与实体之间的兼容性。最后,与其他基线模型相比,本模型在两个公开数据集上的多项评价指标均有一定的提升。2.在对多元关系事实之间的全局信息交互进行考虑时,将一个边级自监督辅助任务集成到了本文模型的训练过程中,通过将原始知识超图转换成超边间关系图,并在转换图中学习元组节点之间的全局交互,从而增强对知识超图的建模。通过最大化两网络学习到的元组表示之间的交互信息,提取元组节点之间的丰富特征,充分学习元组间的交互信息,增强嵌入表示。最后,通过在两个公开数据集上的一系列实验结果,验证了该自监督学习框架对主线模型的提升作用。3.结合上述模型,本文设计并实现了一个基于知识超图的关联知识发现系统。实现在知识库中发现与输入信息相关联的知识,并且能够查询指定知识。满足相关的系统需求的同时验证了模型的可用性。
知识图谱中的多元关系挖掘方法研究与实现
这是一篇关于知识图谱,多元关系,频繁子图挖掘的论文, 主要内容为二元关系通常指的是一对实体或者一个实体与一个字面量间的联系。现实世界中存在许多复杂关系涉及到不止两个实体,这样的关系称之为多元关系。对多元关系的识别有助于从更高的层次分析和利用知识。目前关于多元关系挖掘的研究主要集中于面向文本的多元关系抽取,然而以二元关系为基本结构的知识图谱中蕴含了丰富的多元关系知识,能够为多元关系挖掘提供大量结构化的素材。目前尚未有学者对知识图谱中的多元关系挖掘方法进行系统性研究。在知识图谱中构成一个多元关系的二元子关系存在频繁共现的现象,因此本文利用频繁子图挖掘的思想在知识图谱中进行多元关系挖掘,提出了知识图谱中的多元关系挖掘方法:NR-Miner。本文的主要工作内容总结如下:1.提出了多元关系的模式扩展方法。针对知识图谱的多标签图特性,本文提出多标签模式的扩展方法。针对多元关系与频繁相关关系之间的差异性,本文首先提出关系节点的选择方法,其次通过对多元关系的分析,提出多元关系模式扩展方法。2.提出了多元关系的支持度计算方法。现有的支持度定义无法适应知识图谱的多标签图特性,本文首先提出一种多标签模式的支持度定义MMNI;多元关系与频繁相关关系之间存在差异性对支持度计算也存在影响,本文利用多元关系的特点,优化多标签模式支持度定义MMNI,提出多元关系支持度NMNI;接着从理论上证明MMNI与NMNI的性质;最后提出支持度计算过程中的实例枚举优化方法。3.提出了多元关系剪枝方法并进行多元关系模式闭合性研究。首先利用DFS编码的思想,提出多标签图的同构判断方法,并用以剪枝同构的多元关系模式;其次分析挖掘过程中的其他剪枝方法对于剪枝频繁相关关系起到的作用;最后对频繁多元关系挖掘模块得到的频繁模式进行闭合性分析,并设计非闭合模式过滤方法,得到满足闭合性、频繁性、连通性、整体性的频繁多元关系。在常见知识图谱数据集上的实验表明:本文提出的多元关系挖掘方法NR-Miner能够精确、全面、有效地挖掘出知识图谱中的多元关系,为多元关系挖掘的研究提供了一种新的思路。
基于深度学习的实体关系联合抽取方法研究
这是一篇关于实体关系联合抽取,交互注意力机制,多元关系,字词混合编码,对抗训练的论文, 主要内容为随着信息时代的到来,在互联网上会产生越来越多的非结构化文本信息,在文本信息中隐藏着许多有价值的数据,为了从中获取这些重要数据,需要信息抽取技术的帮助。信息抽取可以从海量数据中抽取出结构化的信息,实体关系抽取是信息抽取的主要任务之一,是构建知识图谱、自动问答等自然语言处理任务的基础。因此,实体关系抽取具有重要的研究意义。传统流水线方法存在错误传播和不能有效抽取关系重叠的问题,会导致实体关系抽取模型总体精度不高。并且在现实世界中,文本通常是具有多元关系的,然而大多数现有的方法仅考虑了实体之间的二元关系,不能有效地处理多元关系。针对上述存在的问题,本文结合深度学习技术对实体关系联合抽取方法展开研究,具体工作内容如下:(1)针对传统流水线方法容易产生错误传播,忽略了两个子任务的内在联系和抽取重叠关系效果较差等问题,提出一种基于交互注意力与特征融合的实体关系联合抽取模型IBFMRel。为解决重叠三元组的问题,该模型采用多层指针网络标注方案,将实体关系联合抽取任务转化为两个相互关联的子任务。同时,设计一种交互注意力机制来实现头实体的语义特征和句子序列特征的融合;为了进一步丰富文本特征信息,将句子的浅层特征和深层特征进行融合;使用Bi LSTM有效地提取上下文相关的语义特征。将所提模型应用于NYT24和NYT29数据集,实验结果表明,所提模型抽取效果与主流方法相比性能有所提升。(2)针对现有方法不能有效处理多元关系,且汉语单字存在着歧义性和传统实体关系抽取模型鲁棒性差等问题,提出一种多元关系分解算法,将多元关系任务分解为多个二元关系任务进行抽取。在第3章模型IBFMRel的基础上,进一步提出实体关系联合抽取模型CA-IBFMRel,采用字向量和词向量的混合编码方式,以学习更加丰富的文本特征表示,通过对抗训练以提高模型的泛化能力。最后,将所提模型应用于Du IE2.0数据集,实验结果表明,无论二元关系抽取还是多元关系的抽取,均取得较好的实验效果。(3)为直观展示本文研究成果并便于将研究成果用于实践,基于IBFMRel和CAIBFMRel模型,结合前后端开发技术,设计并开发基于深度学习的实体及关系抽取系统。该系统能够抽取用户输入文本中的实体,并以关系图的方式展示文本中包含的关系,为用户提供了一个友好的、可交互的、可视化的实体关系联合抽取原型系统。
知识图谱中的多元关系挖掘方法研究与实现
这是一篇关于知识图谱,多元关系,频繁子图挖掘的论文, 主要内容为二元关系通常指的是一对实体或者一个实体与一个字面量间的联系。现实世界中存在许多复杂关系涉及到不止两个实体,这样的关系称之为多元关系。对多元关系的识别有助于从更高的层次分析和利用知识。目前关于多元关系挖掘的研究主要集中于面向文本的多元关系抽取,然而以二元关系为基本结构的知识图谱中蕴含了丰富的多元关系知识,能够为多元关系挖掘提供大量结构化的素材。目前尚未有学者对知识图谱中的多元关系挖掘方法进行系统性研究。在知识图谱中构成一个多元关系的二元子关系存在频繁共现的现象,因此本文利用频繁子图挖掘的思想在知识图谱中进行多元关系挖掘,提出了知识图谱中的多元关系挖掘方法:NR-Miner。本文的主要工作内容总结如下:1.提出了多元关系的模式扩展方法。针对知识图谱的多标签图特性,本文提出多标签模式的扩展方法。针对多元关系与频繁相关关系之间的差异性,本文首先提出关系节点的选择方法,其次通过对多元关系的分析,提出多元关系模式扩展方法。2.提出了多元关系的支持度计算方法。现有的支持度定义无法适应知识图谱的多标签图特性,本文首先提出一种多标签模式的支持度定义MMNI;多元关系与频繁相关关系之间存在差异性对支持度计算也存在影响,本文利用多元关系的特点,优化多标签模式支持度定义MMNI,提出多元关系支持度NMNI;接着从理论上证明MMNI与NMNI的性质;最后提出支持度计算过程中的实例枚举优化方法。3.提出了多元关系剪枝方法并进行多元关系模式闭合性研究。首先利用DFS编码的思想,提出多标签图的同构判断方法,并用以剪枝同构的多元关系模式;其次分析挖掘过程中的其他剪枝方法对于剪枝频繁相关关系起到的作用;最后对频繁多元关系挖掘模块得到的频繁模式进行闭合性分析,并设计非闭合模式过滤方法,得到满足闭合性、频繁性、连通性、整体性的频繁多元关系。在常见知识图谱数据集上的实验表明:本文提出的多元关系挖掘方法NR-Miner能够精确、全面、有效地挖掘出知识图谱中的多元关系,为多元关系挖掘的研究提供了一种新的思路。
面向多元关系的链路预测方法研究
这是一篇关于知识图谱,链路预测,多元关系,图变换网络的论文, 主要内容为相较传统的知识图谱二元关系链路预测,多元关系的链路预测是对包含多个实体与一个或多个关系构成的复杂关系事实的预测,其能够直接利用知识图谱中的复杂关系事实进行学习,减少了信息丢失与知识歧义,提高了预测结果的准确性。然而,现有方法中存在对多元关系事实理解不充分、信息利用不足的问题,降低了预测结果的准确性与方法的可实用性。为此,本文从多元关系事实的信息表达以及事实信息的挖掘利用两个方向展开研究。主要的研究内容如下:(1)提出了基于多元关系异构图表示的图变换网络链路预测模型。针对现有方法中存在忽视关系事实的异构性问题,提出了多元关系事实的异构图表示方法,并在已有关系实体对内部关联、主体三元组与辅助关系实体对之间关联的基础上增加了辅助关系实体对之间关联,增强对关系事实信息的表达。通过引入了一种图变换神经网络,实现了对关系事实本身异构交互信息的有效提取和对实体、关系的预测。通过在数据集JF17K上与基于一组关系实体对表示的先进模型tNaLP+等开展对比实验,结果表明本方法在MRR指标上,混合关系预测提升了0.52%,混合实体预测提升了1.36%。(2)提出了基于轻量化聚合的增强图变换链路预测模型。针对图变换网络因受不同长度的关系事实影响在深层网络上存在信息丢失问题,提出了基于跨通道图最大池化的轻量化聚合方法,在前面图变换网络链路预测模型基础上,将所有网络层按通道对齐后,采用图最大池化聚合各层上关键特征,实现了对输出层上关键特征信息补全。与基于主体三元组与辅助关系实体对表示的先进模型HINGE等相比较,实验结果显示本方法在MRR指标上,三元组中主关系预测提升了1.37%,主实体预测提升了13.88%。(3)构建了面向公众人物信息查询的多元关系链路预测系统。本文结合社交网络场景中对于公众人物信息查询的需求,设计搭建了具备实体预测、关系预测、数据管理和历史查询功能的系统,证明了本文方法的实用性。
知识图谱中的多元关系挖掘方法研究与实现
这是一篇关于知识图谱,多元关系,频繁子图挖掘的论文, 主要内容为二元关系通常指的是一对实体或者一个实体与一个字面量间的联系。现实世界中存在许多复杂关系涉及到不止两个实体,这样的关系称之为多元关系。对多元关系的识别有助于从更高的层次分析和利用知识。目前关于多元关系挖掘的研究主要集中于面向文本的多元关系抽取,然而以二元关系为基本结构的知识图谱中蕴含了丰富的多元关系知识,能够为多元关系挖掘提供大量结构化的素材。目前尚未有学者对知识图谱中的多元关系挖掘方法进行系统性研究。在知识图谱中构成一个多元关系的二元子关系存在频繁共现的现象,因此本文利用频繁子图挖掘的思想在知识图谱中进行多元关系挖掘,提出了知识图谱中的多元关系挖掘方法:NR-Miner。本文的主要工作内容总结如下:1.提出了多元关系的模式扩展方法。针对知识图谱的多标签图特性,本文提出多标签模式的扩展方法。针对多元关系与频繁相关关系之间的差异性,本文首先提出关系节点的选择方法,其次通过对多元关系的分析,提出多元关系模式扩展方法。2.提出了多元关系的支持度计算方法。现有的支持度定义无法适应知识图谱的多标签图特性,本文首先提出一种多标签模式的支持度定义MMNI;多元关系与频繁相关关系之间存在差异性对支持度计算也存在影响,本文利用多元关系的特点,优化多标签模式支持度定义MMNI,提出多元关系支持度NMNI;接着从理论上证明MMNI与NMNI的性质;最后提出支持度计算过程中的实例枚举优化方法。3.提出了多元关系剪枝方法并进行多元关系模式闭合性研究。首先利用DFS编码的思想,提出多标签图的同构判断方法,并用以剪枝同构的多元关系模式;其次分析挖掘过程中的其他剪枝方法对于剪枝频繁相关关系起到的作用;最后对频繁多元关系挖掘模块得到的频繁模式进行闭合性分析,并设计非闭合模式过滤方法,得到满足闭合性、频繁性、连通性、整体性的频繁多元关系。在常见知识图谱数据集上的实验表明:本文提出的多元关系挖掘方法NR-Miner能够精确、全面、有效地挖掘出知识图谱中的多元关系,为多元关系挖掘的研究提供了一种新的思路。
基于深度学习的实体关系联合抽取方法研究
这是一篇关于实体关系联合抽取,交互注意力机制,多元关系,字词混合编码,对抗训练的论文, 主要内容为随着信息时代的到来,在互联网上会产生越来越多的非结构化文本信息,在文本信息中隐藏着许多有价值的数据,为了从中获取这些重要数据,需要信息抽取技术的帮助。信息抽取可以从海量数据中抽取出结构化的信息,实体关系抽取是信息抽取的主要任务之一,是构建知识图谱、自动问答等自然语言处理任务的基础。因此,实体关系抽取具有重要的研究意义。传统流水线方法存在错误传播和不能有效抽取关系重叠的问题,会导致实体关系抽取模型总体精度不高。并且在现实世界中,文本通常是具有多元关系的,然而大多数现有的方法仅考虑了实体之间的二元关系,不能有效地处理多元关系。针对上述存在的问题,本文结合深度学习技术对实体关系联合抽取方法展开研究,具体工作内容如下:(1)针对传统流水线方法容易产生错误传播,忽略了两个子任务的内在联系和抽取重叠关系效果较差等问题,提出一种基于交互注意力与特征融合的实体关系联合抽取模型IBFMRel。为解决重叠三元组的问题,该模型采用多层指针网络标注方案,将实体关系联合抽取任务转化为两个相互关联的子任务。同时,设计一种交互注意力机制来实现头实体的语义特征和句子序列特征的融合;为了进一步丰富文本特征信息,将句子的浅层特征和深层特征进行融合;使用Bi LSTM有效地提取上下文相关的语义特征。将所提模型应用于NYT24和NYT29数据集,实验结果表明,所提模型抽取效果与主流方法相比性能有所提升。(2)针对现有方法不能有效处理多元关系,且汉语单字存在着歧义性和传统实体关系抽取模型鲁棒性差等问题,提出一种多元关系分解算法,将多元关系任务分解为多个二元关系任务进行抽取。在第3章模型IBFMRel的基础上,进一步提出实体关系联合抽取模型CA-IBFMRel,采用字向量和词向量的混合编码方式,以学习更加丰富的文本特征表示,通过对抗训练以提高模型的泛化能力。最后,将所提模型应用于Du IE2.0数据集,实验结果表明,无论二元关系抽取还是多元关系的抽取,均取得较好的实验效果。(3)为直观展示本文研究成果并便于将研究成果用于实践,基于IBFMRel和CAIBFMRel模型,结合前后端开发技术,设计并开发基于深度学习的实体及关系抽取系统。该系统能够抽取用户输入文本中的实体,并以关系图的方式展示文本中包含的关系,为用户提供了一个友好的、可交互的、可视化的实体关系联合抽取原型系统。
基于多元关系的链接预测算法研究与应用
这是一篇关于多元关系,知识超图,链接预测,图注意力网络,自监督学习的论文, 主要内容为在如今的大数据时代,人们获取的信息和知识以指数级别的速率增长,知识图谱作为保存和运用这些知识的载体被提出,然而仅用二元关系不能表示现实世界中的所有事实,需要由表示任意数量实体之间关联的多元关系构成的知识超图对知识进行组织。但由于知识库构建过程的局限性,使其存在大量的知识缺失,因此利用链接预测算法对知识超图进行补全具有重要意义。多元关系链接预测是基于知识超图中已知的链接预测潜在的事实,并且推动了基于知识超图的下游任务的完成。虽然现有的链接预测技术取得了不错的效果,但仍存在很多问题。例如,在建模结构信息时,对实体的邻域信息以及事实元组之间的信息交互等考虑不够完整。针对以上问题,本文完成的主要工作如下:1.在对邻域结构信息进行考虑时,使用图注意力网络汇聚实体邻域结构信息,以元组-实体对代替邻居实体对的方式,使得模型能够聚集完整的邻域信息,并根据实体位置的不同进行对应的信息提取,使得元组中的不同实体能够获取到的信息存在差别。同时,结合对知识超图有向性约束的建模,将有向性信息也学习到实体嵌入中,使得关系能够更好地感知与实体之间的兼容性。最后,与其他基线模型相比,本模型在两个公开数据集上的多项评价指标均有一定的提升。2.在对多元关系事实之间的全局信息交互进行考虑时,将一个边级自监督辅助任务集成到了本文模型的训练过程中,通过将原始知识超图转换成超边间关系图,并在转换图中学习元组节点之间的全局交互,从而增强对知识超图的建模。通过最大化两网络学习到的元组表示之间的交互信息,提取元组节点之间的丰富特征,充分学习元组间的交互信息,增强嵌入表示。最后,通过在两个公开数据集上的一系列实验结果,验证了该自监督学习框架对主线模型的提升作用。3.结合上述模型,本文设计并实现了一个基于知识超图的关联知识发现系统。实现在知识库中发现与输入信息相关联的知识,并且能够查询指定知识。满足相关的系统需求的同时验证了模型的可用性。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码向导 ,原文地址:https://m.bishedaima.com/lunwen/56133.html