基于深度学习的知识图谱推理方法研究
这是一篇关于知识图谱,语义融合,关系推理,文本增强的论文, 主要内容为随着互联网技术的飞速发展,人类社会积累了大量的理论知识与实践经验。知识图谱以其高度凝练的语义网络结构,成为一种高效的知识表示手段。知识图谱为人们生活中的多个领域提供便利,包括搜索引擎、问答系统、医疗诊断等等。虽然知识图谱规模以指数级的速度增长,但仍然存在稀疏性与不完整性的问题,如何有效挖掘知识图谱的隐藏语义,推理出潜在事实是一个亟须解决的问题。目前深度学习在自然语言领域取得了突破性的进展,尤其在知识图谱推理这样的应用场景获得了更优异的性能,是未来知识推理模型的发展方向。本文围绕上下文与关系路径多源语义融合的问题进行深入研究,提出了一种基于多元语义神经网络的知识图谱推理模型,通过语义融合的方式,实现知识图谱推理。本文主要贡献如下:1.针对主流知识图谱推理模型存在利用信息类型单一的问题,提出一种多元语义深度神经网络(Mulit-semantic Deep Neural Network,MSNN)实现关系推理。利用信息传播网络与循环神经网络分别对实体上下文信息与关系路径特征进行建模,并利用注意力机制将两种语义融合,实现知识推理。实验结果表明MSNN模型在FB15k、FB15k-237、WN18、WN18RR、NELL995等五个数据集的MRR、MR、Hit@1、Hit@3指标上相较于当前主流方法取得了较好的效果,证明了使用两种语义信息可提升模型表达能力。2.针对传统信息传播网络中传播函数权重固定的局限性,本文在MSNN模型中提出一种基于卷积信息传播网络的实体上下文特征建模方案。利用卷积神经网络高效的特征建模能力,以可学习的方式计算传播函数中实体关系的权重,使得传播函数的表示更加灵活。实验结果表明在MRR、MR、Hit@1、Hit@3指标上基于卷积网络的传播函数权重计算方案均高于传统的求平均方案。3.为进一步提升MSNN网络的性能,本文设计了一种基于文本嵌入的关系向量初始化方案并以此提出了MSNN模型的改进方案TE-MSNN,以改进MSNN模型中初始化关系向量的表达能力,提升模型性能。通过文本表示生成、文本语义过滤、文本表示降维的方法获得关系文本的向量化表示,以此作为MSNN的初始化关系向量。4.为验证TE-MSNN(Text Enhanced-MSNN)方案的有效性,本文以NELL995数据集为基础构建新的关系文本增强数据集NELL995-text。从NELL系统的官网上爬取每个三元组中关系的描述文本与实体类型的描述,构建每个关系的描述文本。实验结果表明TE-MSNN在MRR、MR、Hit@1、Hit@3指标上与MSNN相比有了一定的提升。
基于文本增强的知识图谱表示学习研究
这是一篇关于知识图谱,表示学习,知识工程,事实三元组,文本增强的论文, 主要内容为知识是人类认识世界过程中总结出来的客观事实,庞大的互联网中蕴藏着各式各样丰富的知识。非结构化的知识难以被管理和利用,知识图谱可以将知识组织为结构化数据,而知识图谱的表示学习可以帮助计算机理解知识。知识图谱的表示学习是指将知识图谱中的实体以及关系嵌入低维稠密向量空间,并且需要在保证知识准确性的前提下尽可能的嵌入更多的语义信息。知识的表示具有复杂性以及不稳定性,这就对知识的表示带来了巨大的挑战。首先,现有的知识图谱表示学习模型的度量方法存在局限性,不能准确评估模型的知识表示性能。其次,传统的知识嵌入模型仅仅考虑每一个独立的事实三元组,而没有将每一个实体与知识图谱中其他实体相关联。最后,传统欧式空间下的知识建模已经被证明因为过于严格的约束和数学表达,不能有效的表示知识。本文基于上述三个挑战分别提出研究的主要内容。(1)对现有的经典知识表示方法进行了细粒度评估校验,真实评估各个模型在知识工程下游任务的性能,并建立了一个统一的评价机制。(2)提出了一种基于文本增强的知识图谱表示学习方法。该模型通过Transformer编码器对实体和关系的文本描述信息进行预处理,并将其输入图卷积神经网络中学习知识的表示。(3)在前两部分研究工作的基础上,提出了双曲空间下文本增强的知识图谱表示学习模型。其主要思想是结合实体描述的丰富语义信息以及双曲空间特性对知识进行建模,进一步提高知识的表示能力。所有模型都在基准数据集上进行试验,并对模型细节进行了详尽的分析评估。实验结果表明现有的知识图谱评估方法高估了传统知识图谱表示方法性能。本文根据常规度量方法以及所提出的统一评价机制对提出的两种模型进行评估,两者性能明显优于现有的其他表示方法。
基于深度学习及知识图谱的垂直领域问答研究
这是一篇关于知识图谱,深度学习,自动问答,文本增强,意图识别的论文, 主要内容为自动问答的目的是让机器理解人们提出的问题,并以自然语言的形式给出准确的答案,这项技术需要机器存储大量的背景知识。近年来,知识图谱技术的飞速发展,使得基于知识图谱的问答系统得到更多的研究。自动问答的研究领域可以划分为开放领域和垂直领域,本文主要针对医疗垂直领域进行研究。但研究中存在实际场景标注数据不足、机器在各个垂直领域对用户问题理解有偏差问题,因此,本文研究主要解决以上问题。首先,为解决训练模型标注数据不足的问题,本文基于自然语言建模和文本增强算法的最新进展,提出了一种融合面向表示和面向原文的文本增强方法,并利用反向翻译的技术提高增强后文本的多样性。在多个中英文数据集上分不同场景验证了本文提出的文本增强算法的有效性。然后,针对机器对用户问题理解有偏差的问题,本文通过对用户问题进行意图识别的方法来解决。基于已有的意图识别方法,本文提出了利用胶囊网络进行改进的算法。该改进算法具备胶囊网络的优势,解决了原来算法中在池化阶段导致一些特征丢失的问题。而且该算法将信息分层分组,以解决更复杂的问题。该算法在训练过程采用动态路由算法,从而增加了重要特征的权重,能够发现更多的隐藏特征,进而提高了意图识别的性能。最后,本文构建了医疗领域的知识图谱,并基于前文对文本增强和意图识别的研究,实现了医疗垂直领域的自动问答系统,验证了本文所提算法在实际场景中的可行性。此外,本文所提算法也可迁移到其他垂直领域。
基于深度学习及知识图谱的垂直领域问答研究
这是一篇关于知识图谱,深度学习,自动问答,文本增强,意图识别的论文, 主要内容为自动问答的目的是让机器理解人们提出的问题,并以自然语言的形式给出准确的答案,这项技术需要机器存储大量的背景知识。近年来,知识图谱技术的飞速发展,使得基于知识图谱的问答系统得到更多的研究。自动问答的研究领域可以划分为开放领域和垂直领域,本文主要针对医疗垂直领域进行研究。但研究中存在实际场景标注数据不足、机器在各个垂直领域对用户问题理解有偏差问题,因此,本文研究主要解决以上问题。首先,为解决训练模型标注数据不足的问题,本文基于自然语言建模和文本增强算法的最新进展,提出了一种融合面向表示和面向原文的文本增强方法,并利用反向翻译的技术提高增强后文本的多样性。在多个中英文数据集上分不同场景验证了本文提出的文本增强算法的有效性。然后,针对机器对用户问题理解有偏差的问题,本文通过对用户问题进行意图识别的方法来解决。基于已有的意图识别方法,本文提出了利用胶囊网络进行改进的算法。该改进算法具备胶囊网络的优势,解决了原来算法中在池化阶段导致一些特征丢失的问题。而且该算法将信息分层分组,以解决更复杂的问题。该算法在训练过程采用动态路由算法,从而增加了重要特征的权重,能够发现更多的隐藏特征,进而提高了意图识别的性能。最后,本文构建了医疗领域的知识图谱,并基于前文对文本增强和意图识别的研究,实现了医疗垂直领域的自动问答系统,验证了本文所提算法在实际场景中的可行性。此外,本文所提算法也可迁移到其他垂直领域。
基于文本增强的知识图谱表示学习研究
这是一篇关于知识图谱,表示学习,知识工程,事实三元组,文本增强的论文, 主要内容为知识是人类认识世界过程中总结出来的客观事实,庞大的互联网中蕴藏着各式各样丰富的知识。非结构化的知识难以被管理和利用,知识图谱可以将知识组织为结构化数据,而知识图谱的表示学习可以帮助计算机理解知识。知识图谱的表示学习是指将知识图谱中的实体以及关系嵌入低维稠密向量空间,并且需要在保证知识准确性的前提下尽可能的嵌入更多的语义信息。知识的表示具有复杂性以及不稳定性,这就对知识的表示带来了巨大的挑战。首先,现有的知识图谱表示学习模型的度量方法存在局限性,不能准确评估模型的知识表示性能。其次,传统的知识嵌入模型仅仅考虑每一个独立的事实三元组,而没有将每一个实体与知识图谱中其他实体相关联。最后,传统欧式空间下的知识建模已经被证明因为过于严格的约束和数学表达,不能有效的表示知识。本文基于上述三个挑战分别提出研究的主要内容。(1)对现有的经典知识表示方法进行了细粒度评估校验,真实评估各个模型在知识工程下游任务的性能,并建立了一个统一的评价机制。(2)提出了一种基于文本增强的知识图谱表示学习方法。该模型通过Transformer编码器对实体和关系的文本描述信息进行预处理,并将其输入图卷积神经网络中学习知识的表示。(3)在前两部分研究工作的基础上,提出了双曲空间下文本增强的知识图谱表示学习模型。其主要思想是结合实体描述的丰富语义信息以及双曲空间特性对知识进行建模,进一步提高知识的表示能力。所有模型都在基准数据集上进行试验,并对模型细节进行了详尽的分析评估。实验结果表明现有的知识图谱评估方法高估了传统知识图谱表示方法性能。本文根据常规度量方法以及所提出的统一评价机制对提出的两种模型进行评估,两者性能明显优于现有的其他表示方法。
基于深度学习的知识图谱推理方法研究
这是一篇关于知识图谱,语义融合,关系推理,文本增强的论文, 主要内容为随着互联网技术的飞速发展,人类社会积累了大量的理论知识与实践经验。知识图谱以其高度凝练的语义网络结构,成为一种高效的知识表示手段。知识图谱为人们生活中的多个领域提供便利,包括搜索引擎、问答系统、医疗诊断等等。虽然知识图谱规模以指数级的速度增长,但仍然存在稀疏性与不完整性的问题,如何有效挖掘知识图谱的隐藏语义,推理出潜在事实是一个亟须解决的问题。目前深度学习在自然语言领域取得了突破性的进展,尤其在知识图谱推理这样的应用场景获得了更优异的性能,是未来知识推理模型的发展方向。本文围绕上下文与关系路径多源语义融合的问题进行深入研究,提出了一种基于多元语义神经网络的知识图谱推理模型,通过语义融合的方式,实现知识图谱推理。本文主要贡献如下:1.针对主流知识图谱推理模型存在利用信息类型单一的问题,提出一种多元语义深度神经网络(Mulit-semantic Deep Neural Network,MSNN)实现关系推理。利用信息传播网络与循环神经网络分别对实体上下文信息与关系路径特征进行建模,并利用注意力机制将两种语义融合,实现知识推理。实验结果表明MSNN模型在FB15k、FB15k-237、WN18、WN18RR、NELL995等五个数据集的MRR、MR、Hit@1、Hit@3指标上相较于当前主流方法取得了较好的效果,证明了使用两种语义信息可提升模型表达能力。2.针对传统信息传播网络中传播函数权重固定的局限性,本文在MSNN模型中提出一种基于卷积信息传播网络的实体上下文特征建模方案。利用卷积神经网络高效的特征建模能力,以可学习的方式计算传播函数中实体关系的权重,使得传播函数的表示更加灵活。实验结果表明在MRR、MR、Hit@1、Hit@3指标上基于卷积网络的传播函数权重计算方案均高于传统的求平均方案。3.为进一步提升MSNN网络的性能,本文设计了一种基于文本嵌入的关系向量初始化方案并以此提出了MSNN模型的改进方案TE-MSNN,以改进MSNN模型中初始化关系向量的表达能力,提升模型性能。通过文本表示生成、文本语义过滤、文本表示降维的方法获得关系文本的向量化表示,以此作为MSNN的初始化关系向量。4.为验证TE-MSNN(Text Enhanced-MSNN)方案的有效性,本文以NELL995数据集为基础构建新的关系文本增强数据集NELL995-text。从NELL系统的官网上爬取每个三元组中关系的描述文本与实体类型的描述,构建每个关系的描述文本。实验结果表明TE-MSNN在MRR、MR、Hit@1、Hit@3指标上与MSNN相比有了一定的提升。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码货栈 ，原文地址：https://m.bishedaima.com/lunwen/56262.html
