基于实体类型与路径信息的知识表示学习研究
这是一篇关于知识图谱,知识表示学习,实体类型,关系路径,实体预测,关系预测的论文, 主要内容为随着知识图谱在学术界和工业界的广泛研究和普遍应用,完善与更新知识图谱数据,提升知识图谱质量成为亟不可待的任务,知识表示学习作为知识图谱补全重要的上游技术越来越受到人们的关注。知识表示学习的目标是将知识图中实体和关系嵌入到向量空间中,使它们的语义关联以可计算的形式更好地表达。知识表示学习广泛应用于实体/关系预测与补全等场景。大多数知识表示学习模型基于图结构本身的实体/关系信息,如翻译模型、卷积/图神经网络模型等。一些已开发的模型还使用了补充的附加信息,如TKRL中的实体类型和PTrans E中的多步路径等。然而,这些模型也有各自的局限。例如,面对复杂的关系类型,嵌入的近似向量分布模糊;基于卷积/图神经网络的模型不能预测关系;关系/实体预测的准确性不够;当数据稀疏时,知识图谱补全质量下降等。针对以上问题,本文提出了集成实体和关系附加信息的知识表示学习方法(Integrating Entity and Relation Additional Information for Knowledge Representation Learning,简称IERAI)、融合实体类型和关系路径的知识表示学习研究(Integrating Entity Type and Relation Path Information for Knowledge Representation Learning,简称TP-KRL)和基于间接关系路径投影的知识表示学习方法(Indirect Relation based Path Projection,简称IRPP),在一定程度上解决了已有的知识表示学习方法存在的问题。本文主要研究工作如下:(1)为了同步提高关系和实体向量嵌入的质量,本文提出了集成实体和关系附加信息的知识表示学习方法IERAI。我们首先通过计算间接关系路径和直接关系的共现概率的大小对候选路径进行排序来过滤有效路径信息,接着利用直接关系选择实体类型信息,再对多源信息进行建模并联合训练。类型信息的融合可以减少实体表示的歧义,同时,有效的间接关系可以提高关系表示的精度。在FB15K和FB15K-1855(添加低频关系)数据集上的实验结果表明,IERAI能够有效提高实体与关系预测的质量,多种附加信息的融合一定程度上弥补了数据稀疏时嵌入不准确的问题。(2)提出了融合实体类型和关系路径的知识表示学习研究TP-KRL。基于对IERAI模型的进一步研究,我们发现除了直接关系,路径中的间接关系同样会对头尾实体的类型信息进行限制,并且在某些场景下,直接关系也无法确切选择实体对应的正确类型,此时只有路径中的间接关系可以确定。两步关系路径中的第一步关系会和直接关系共同限定头实体类型信息,第二步关系会和直接关系共同限定尾实体类型信息。于是我们进一步提出融合实体类型和关系路径的知识表示学习算法TP-KRL,在三元组缺失部分预测实验上的结果证明,TP-KRL对实体表示和关系表示的效果均有提升。(3)为了进一步利用关系路径的附加语义,本文提出了一种新的关系路径投影模型IRPP。我们对直接关系和关系路径均设置不同的投影空间,为降低算法复杂度,直接关系映射矩阵由向量乘法构建,关系路径空间的映射矩阵由多个直接关系映射矩阵组合得到。我们将每个实体投影到直接关系和间接关系路径的潜在空间中,利用平移近似原则构建联合得分函数和损失函数,在训练中学习实体与关系的分布式表示。实验结果证明IRPP有助于知识图谱的补全与推理。
基于关系路径建模的知识表示学习研究
这是一篇关于知识图谱,知识表示学习,关系路径,动态翻译的论文, 主要内容为大数据时代下,互联网上时刻会有海量的各种结构类型的数据被产生。如何操作这些海量的数据并获取其中的有用信息,受到了普遍的关注。知识图谱(Knowledge Graph,KG)将各种结构化数据的语义信息以计算机可以理解的方式表示出来,有助于我们更好地组织和管理数据。而现有的KGs并不完整,这大大限制了知识图谱的运用。因而,有必要发掘KGs中隐含的信息以实现知识推理,来完善KGs。知识图谱是一个由相互关联的知识组成的复杂的语义网络,其中实体(entity)被视为该网络的结点,实体间的关系(relation)则被视为该网络的边。知识表示学习的目的是学习KGs中的实体和关系并计算其语义联系。该技术可以有效提升知识获取、表示和推理的性能,因此,本文在知识表示学习的基础上进行进一步研究,具体内容如下:(1)针对不同知识图谱的个体局部性问题,提出一种动态边际(DM)翻译原理,并将该原理引入经典TransE模型。首先,在训练过程当中,针对不同的KGs设置不同的模型参数。其次,根据训练次数的增加,动态优化损失函数的边际值,有效地改善了不同KGs的独特性问题,从而提升了训练效率。(2)知识图谱中,路径作为除关系外连接两个实体的另一种方式,也蕴含着实体间丰富的语义信息。加入路径的表示学习模型如PTransE,在实体对间仅包含一条路径的情况下取得了显著的改进。但是,当实体对之间的路径数大于1时,这些模型对于多路径并不能很好地建模。介于此,本文提出了一种动态路径翻译(DPT)原则。DPT有针对性的添加与各条路径相对应的向量因子,并将这些向量因子与实体向量和关系向量同步训练,来实现对实体对间的多条路径的建模。(3)现有基于路径的知识表示学习模型仅加入了两到三步路径。为了更好地反映KGs中的复杂推理,本文利用长短时记忆网络结构对一条路径中的多个关系依次进行迭代组合操作,来增加嵌入路径的长度,捕捉相距较远的实体之间所隐含的语义信息。并且,训练过程中采用改进的路径约束分配资源算法即im-PCRA算法,计算实体对之间每条路径的可靠性。
基于关系路径的知识图谱补全方法研究
这是一篇关于知识图谱补全,关系路径,循环神经网络,注意力机制的论文, 主要内容为知识图谱是用于构建智慧问答、推荐系统这些应用的宝贵资源。知识图谱是由事实三元组构成的集合,每个三元组包括头实体、关系以及尾实体。目前许多的大型知识图谱都是比较稀疏的,知识图谱的不完整性影响了它们下游应用的使用效果,知识图谱补全任务就是根据知识图谱中的现有信息来添加新的三元组。基于知识图谱嵌入的知识图谱补全方法利用三元组的结构信息,近年来取得不错的效果。然而这种方法只关注了实体之间的直接关系,而忽视了知识图谱中关系路径的存在。基于路径的知识图谱补全方法根据关系路径来对实体间的关系进行推断。早期的基于路径方法PRA将实体间的每条路径作为原子特征,然后训练二分类器对实体间关系进行判断,这种方法难以处理大型的知识图谱。随后的Path-RNN以及Single-Model模型利用循环神经网络将关系路径的语义信息表示为向量,提高了模型的可扩展性。本文针对Single-Model模型存在的不足,对其进行了改进,具体工作为:(1)Single-Model模型使用的RNN无法解决长期依赖问题,因此在处理较长的关系路径时无法生成较好的向量表示,此外RNN存在梯度消失和梯度爆炸的问题,使得模型难以训练。因此本论文使用LSTM网络替换RNN。(2)Single-Model在关系路径中使用实体的类型来替换实体,这样会造成路径信息的丢失。本论文利用数据集中提供的文本辅助信息,结合知识图谱中三元组的结构信息,预训练出实体与关系的嵌入表示,并将它们用于关系路径的向量生成中。(3)Single-Model模型没有考虑到实体对间的每条路径对于特定的预测关系所提供的信息量是不同的,基于此,本论文引入注意力机制为每条路径分配不同的权重,对多条路径的信息进行融合得到一个实体对的向量表示,然后利用此向量来推测实体对间的关系。本文在验证数据集上对所提出的模型进行了评测,实验表明,在三元组分类和链接预测任务上,我们的模型相比基准模型有更好的表现效果。
基于关系路径建模的知识表示学习研究
这是一篇关于知识图谱,知识表示学习,关系路径,动态翻译的论文, 主要内容为大数据时代下,互联网上时刻会有海量的各种结构类型的数据被产生。如何操作这些海量的数据并获取其中的有用信息,受到了普遍的关注。知识图谱(Knowledge Graph,KG)将各种结构化数据的语义信息以计算机可以理解的方式表示出来,有助于我们更好地组织和管理数据。而现有的KGs并不完整,这大大限制了知识图谱的运用。因而,有必要发掘KGs中隐含的信息以实现知识推理,来完善KGs。知识图谱是一个由相互关联的知识组成的复杂的语义网络,其中实体(entity)被视为该网络的结点,实体间的关系(relation)则被视为该网络的边。知识表示学习的目的是学习KGs中的实体和关系并计算其语义联系。该技术可以有效提升知识获取、表示和推理的性能,因此,本文在知识表示学习的基础上进行进一步研究,具体内容如下:(1)针对不同知识图谱的个体局部性问题,提出一种动态边际(DM)翻译原理,并将该原理引入经典TransE模型。首先,在训练过程当中,针对不同的KGs设置不同的模型参数。其次,根据训练次数的增加,动态优化损失函数的边际值,有效地改善了不同KGs的独特性问题,从而提升了训练效率。(2)知识图谱中,路径作为除关系外连接两个实体的另一种方式,也蕴含着实体间丰富的语义信息。加入路径的表示学习模型如PTransE,在实体对间仅包含一条路径的情况下取得了显著的改进。但是,当实体对之间的路径数大于1时,这些模型对于多路径并不能很好地建模。介于此,本文提出了一种动态路径翻译(DPT)原则。DPT有针对性的添加与各条路径相对应的向量因子,并将这些向量因子与实体向量和关系向量同步训练,来实现对实体对间的多条路径的建模。(3)现有基于路径的知识表示学习模型仅加入了两到三步路径。为了更好地反映KGs中的复杂推理,本文利用长短时记忆网络结构对一条路径中的多个关系依次进行迭代组合操作,来增加嵌入路径的长度,捕捉相距较远的实体之间所隐含的语义信息。并且,训练过程中采用改进的路径约束分配资源算法即im-PCRA算法,计算实体对之间每条路径的可靠性。
基于图卷积神经网络的知识图谱链接预测方法研究
这是一篇关于链接预测,图卷积神经网络,关系路径,关系邻域,注意力机制的论文, 主要内容为在大数据时代,知识图谱包含了大量的事实实体及其之间的各种关系,是一种非常重要的信息库,在推荐系统、知识问答、自然语言理解等诸多领域具有广泛的应用前景。但现有的知识图谱普遍存在着数据不完备的现象,有大量的关系缺失,链接预测任务的目的就是对知识图谱中实体间的缺失关系进行预测,同时链接预测任务又建立在知识图谱表示学习的基础上。目前基于翻译和基于卷积神经网络的知识图谱表示方法主要关注每个独立的三元组信息,而基于图卷积神经网络的方法能够捕获到知识图谱中深层次的语义信息和结构信息,但现有的知识图谱稀疏度是不同的,因此本文在链接预测任务上针对两种稀疏度不同的知识图谱在现有的研究基础上分别提出了改进的方法。(1)针对大型多关系知识图谱,由于关系信息足够丰富,因此不考虑实体本身的具体信息就可以用关系刻画实体特征,本文提出了一种充分考虑关系信息的编解码结构模型,该模型使用丰富的关系信息标识实体类型,替代了以往模型中实体嵌入的部分,简化了模型的复杂度,同时使用关系路径信息标识实体间的相对位置,通过限制路径的跳数来降低链接预测任务的时间成本,在编码部分将关系类型和关系路径结合起来,然后使用基于卷积神经网络的解码器作为评分函数来评估三元组的准确性。(2)针对稀疏知识图谱,考虑到关系信息比较稀疏,无法仅用关系类型来刻画实体特征,同时只对关系建模又会忽略实体不同的重要性,因此本文提出了一种基于注意力机制的邻域联合嵌入模型。该模型将目标节点周围的实体-关系邻域先分别进行联合嵌入,使用注意力机制为每个邻域联合嵌入分配不同的权重,最终将联合嵌入聚合得到目标节点嵌入,然后使用多个不同的解码器作为评分函数,对比实验性能。大量的对比实验表明,本文提出的这两个模型框架在不同稀疏度的知识图谱上相比于以往的链接预测模型都有着较好的性能。
基于关系路径建模的知识表示学习研究
这是一篇关于知识图谱,知识表示学习,关系路径,动态翻译的论文, 主要内容为大数据时代下,互联网上时刻会有海量的各种结构类型的数据被产生。如何操作这些海量的数据并获取其中的有用信息,受到了普遍的关注。知识图谱(Knowledge Graph,KG)将各种结构化数据的语义信息以计算机可以理解的方式表示出来,有助于我们更好地组织和管理数据。而现有的KGs并不完整,这大大限制了知识图谱的运用。因而,有必要发掘KGs中隐含的信息以实现知识推理,来完善KGs。知识图谱是一个由相互关联的知识组成的复杂的语义网络,其中实体(entity)被视为该网络的结点,实体间的关系(relation)则被视为该网络的边。知识表示学习的目的是学习KGs中的实体和关系并计算其语义联系。该技术可以有效提升知识获取、表示和推理的性能,因此,本文在知识表示学习的基础上进行进一步研究,具体内容如下:(1)针对不同知识图谱的个体局部性问题,提出一种动态边际(DM)翻译原理,并将该原理引入经典TransE模型。首先,在训练过程当中,针对不同的KGs设置不同的模型参数。其次,根据训练次数的增加,动态优化损失函数的边际值,有效地改善了不同KGs的独特性问题,从而提升了训练效率。(2)知识图谱中,路径作为除关系外连接两个实体的另一种方式,也蕴含着实体间丰富的语义信息。加入路径的表示学习模型如PTransE,在实体对间仅包含一条路径的情况下取得了显著的改进。但是,当实体对之间的路径数大于1时,这些模型对于多路径并不能很好地建模。介于此,本文提出了一种动态路径翻译(DPT)原则。DPT有针对性的添加与各条路径相对应的向量因子,并将这些向量因子与实体向量和关系向量同步训练,来实现对实体对间的多条路径的建模。(3)现有基于路径的知识表示学习模型仅加入了两到三步路径。为了更好地反映KGs中的复杂推理,本文利用长短时记忆网络结构对一条路径中的多个关系依次进行迭代组合操作,来增加嵌入路径的长度,捕捉相距较远的实体之间所隐含的语义信息。并且,训练过程中采用改进的路径约束分配资源算法即im-PCRA算法,计算实体对之间每条路径的可靠性。
面向金融领域的知识图谱构建及补全研究
这是一篇关于知识图谱,知识图谱补全,关系路径的论文, 主要内容为全球范围内伴随着云计算,大数据,人工智能等新兴技术的落地,互联网的数据量每两年翻一番,为了更好的分析及应用互联网数据,国内外学者及机构提出知识图谱概念。知识图谱将客观世界中概念,实体及其关系以结构化的形式呈现,以更直观让人类认识世界的形式将互联网的信息进行表达,在管理、组织及分析应用互联网信息上发挥出了巨大的作用。目前,知识图谱已经在医疗、商业及交通等行业领域得到了较好的应用且取得了良好的效果。但是目前针对金融行业的知识图谱相对较少,很多公司的金融图谱因信息的私密性不对外开放且应用时发现有隐含的关系尚未连接,因此在知识图谱构建完成后,后续的补全工作也变的尤为重要。经典的知识图谱补全模型往往只关注知识图谱中相邻的两个节点所组成的路径,忽略了节点与其它多个节点所组成的关系路径所带来的信息。本文针对金融图谱缺乏问题及知识图谱补全模型的缺陷,先利用金融股票及企业信息进行金融知识图谱构建,一方面以金融股票等信息为例描述金融知识图谱的构建方法,另一方面为后期知识补全任务提供基础数据集,然后提出基于组合关系路径的知识图谱补全方法对金融知识图谱进行补全任务验证。主要工作包括:1.基于金融知识图谱的缺乏及隐私问题,通过自底向上的知识图谱构建方法,爬取了股票网站—东方财富、百度股票,企业网站—企查查及相关金融论坛的金融股票,法人信息,通过自然语言处理算法进行企业实体、法人实体及实体间关系的抽取识别,最终清洗整理后导入neo4j图数据库,阐述了构建小型金融知识图谱的主要流程,完成金融知识图谱的构建,并为后期的知识补全工作提供基础数据集。2.对现阶段平移模型仅考虑两点之间相连的缺陷,基于节点之间连接的方向所代表的不同‘角色’,提出了基于组合关系路径的知识图谱补全模型,以节点之间的共现概率详细描述了在三节点结构下三种不同的关系路径连接模式,得到节点的向量表示,并通过负采样及随机梯度下降法进行模型优化。最终以本文中构建的金融知识图谱及Freebase数据集为数据来源验证了方法的有效性。
面向链接预测的知识图谱嵌入技术研究与应用
这是一篇关于链接预测,知识图谱嵌入,卷积神经网络,关系路径,推荐系统的论文, 主要内容为知识图谱以结构化的形式组织和表示数据,利用三元组描述事务的属性以及事务之间的语义联系,被广泛应用于搜索引擎、问答系统和推荐系统等诸多领域。然而,现有的知识图谱是不完整的,其中实体之间的部分链接是缺失的,因此提出了链接预测任务。知识图谱嵌入技术是解决链接预测任务的主流方法之一,通过在低维连续嵌入空间中学习实体和关系的表征,预测实体和关系间的潜在语义联系。本文针对知识图谱中的链接预测任务,研究并利用知识图谱嵌入技术补全知识图谱中缺失的链接,主要研究工作和贡献总结如下:1.针对单一卷积结构无法同时建模实体和关系在相同和不同维度上的特征交互的问题,本文提出了基于卷积神经网络的模型Simul E,采用双路径分别提取实体与关系在相同和不同维度上的交互信息,联合一维卷积和三维卷积生成更具表现力的特征嵌入。链接预测实验结果表明,与基线模型Conv E相比,Simul E在WN18RR、FB15k-237、YAGO3-10和DB100K数据集的MRR指标上分别提升了2.9%、2.9%、9.8%和2.8%,证明了模型的有效性和鲁棒性。2.针对现有基于卷积神经网络的模型没有充分利用路径信息的问题,本文提出了融入路径信息的知识图谱嵌入模型Simul E-Path。该模型首先对关系路径进行采样,然后编码和聚合关系路径上的顺序和语义特征,最后采用卷积神经网络同时捕获实体、关系和路径嵌入的特征交互。链接预测实验结果表明,融入路径信息后,Simul E-Path在FB15k-237和YAGO3-10数据集的Hits@10指标上分别提升了1.3%和2.8%,进一步增强了模型的性能。3.针对推荐系统面临的数据稀疏性问题,本文提出了基于知识图谱嵌入的推荐系统模型Simul E-PRS。该模型采用多任务训练框架,交替训练知识图谱嵌入模块和推荐系统模块,利用知识图谱嵌入中蕴含的语义信息丰富推荐系统项目和用户的特征嵌入。点击预测实验结果表明,与基线模型MKR相比,Simul E-PRS在Movie Lens-1M、Book-Crossing和Last.FM数据集的ACC指标上分别提升了0.7%、1.9%和1.8%,增强了推荐模型的性能。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码港湾 ，原文地址：https://m.bishedaima.com/lunwen/49239.html
