融合语义交互和语义限制的知识表示学习
这是一篇关于知识图谱,图谱嵌入,表示学习,语义交互,语义限制的论文, 主要内容为知识图谱是由实体和关系组成的有向图,采用三元组的形式结构化存储知识,被广泛应用于语义分析、对话系统和推荐系统等人工智能任务。知识表示学习使用低维稠密的实值向量表示知识图谱中的实体和关系,在低维向量空间中高效计算实体和关系的语义联系。知识表示学习有效缓解数据稀疏性问题,实现多源异质信息的融合,进而提升知识获取、融合和推理的性能,对知识表示学习的研究,具有重大意义。本文聚焦知识表示学习建模语义关联时存在的问题,从语义交互和语义限制两个角度展开研究工作。首先,知识图谱中的实体和关系之间存在复杂的语义交互,大多数知识表示学习模型只建模头实体(尾实体)和关系之间的语义交互,却忽略头实体和尾实体之间的语义交互。其次,知识图谱同一三元组内的实体具有很多相似属性,大多数知识表示学习模型忽略实体潜在语义特征的近似约束。针对上述问题,本文分别提出融合语义交互和融合语义限制的知识表示学习。本文的主要贡献如下:(1)提出一种融合语义交互的知识表示学习模型,建模头实体(尾实体)和关系之间、头实体和尾实体之间的语义交互,同时从前向和后向传递不同的语义。具体来说,该模型使用复杂嵌入表示实体和关系,通过度量经过关系翻译的实体之间的语义相似度,建模前向和后向语义交互。(2)提出一种融合语义限制的知识表示学习模型,通过语义距离限制和特征压缩限制约束实体嵌入向量。该模型利用语义距离限制约束嵌入空间的几何结构,建模三元组内实体之间的潜在关联;通过特征压缩限制,保留实体的积极属性和消极属性,学习紧凑的嵌入表示。在标准的链接预测任务上进行实验评估模型,融合语义交互和融合语义限制的模型取得先进的性能,验证语义交互和语义限制能够提升表示能力。
基于事实信息融合的知识图谱补全方法研究与实现
这是一篇关于知识图谱补全,事实上下文,负采样优化,表示学习的论文, 主要内容为知识图谱是一种结构化的语义知识库,它通过符号形式描述客观世界中的概念及其相互关系。目前,知识图谱在知识问答、智能推荐等众多场景中得到了广泛应用,是人工智能领域中的重要研究内容。然而,现有知识图谱面临着稀疏性和不完整性的问题,这会严重影响知识图谱在应用中的效果,因此知识图谱补全成为了学术界和工业界的热点问题。知识图谱补全旨在找到现实世界中应该存在但在知识图谱中缺失的事实,提高知识图谱的完整性。现有的知识图谱补全方法主要是通过将知识图谱中的实体和关系嵌入到低维稠密向量空间中,并通过计算实体和关系在向量空间中的距离或相似度来判断它们之间是否存在一定联系,从而实现知识图谱补全。然而,现有方法存在着一些不足:一方面,它们主要关注在实体和关系本身而未考虑事实上下文,无法更好地学习到实体和关系在不同事实下的语义信息;另一方面,负采样是知识图谱补全过程中重要步骤,现有的负采样策略主要通过随机替换事实中的头实体或尾实体的方式来生成负样本,这往往会导致所生成的负样本质量不高,影响知识图谱补全的效果。本文针对上述问题进行了深入的研究,主要工作如下:(1)提出了一种融合事实信息的知识图谱补全模型,该模型由事实信息编码器和事实信息融合模块两部分构成。其中,事实信息编码器通过门控循环单元(Gated Recurrent Unit,GRU)捕获实体和关系的序列依赖关系,并利用卷积神经网络(Convolutional Neural Network,CNN)进行局部特征提取;事实信息融合模块使用深度神经网络将事实信息的嵌入表示融合到实体和关系中,从而使实体和关系获得对应的事实语义,增强了实体和关系的表达能力。(2)提出了一种基于预训练评估模型的负采样优化方法,该方法包括评估模型的预训练和负样本候选集生成两部分。其中,评估模型是由三元嵌入矩阵组(Triple Embedding Matrix Pair,TEMP)和深度神经网络构成,通过预训练的方式使评估模型实现对负样本合理性的评估;随后,采用负样本候选集生成方法来过滤掉与正样本语义相差过大的负样本。使用该负采样策略可以生成高质量的负样本,从而提高知识图谱补全模型的性能。(3)设计并实现了一个面向软件开发领域的知识图谱补全系统(Software Knowledge Graph Completion System,SOFT-KGCS)。该系统能够实现软件开发知识的获取、融合及补全,增强了软件开发知识图谱的完备性,为软件开发人员提供高质量的领域知识,提高了软件开发知识图谱的利用效率。最后,本文在多个真实数据集中对所提出的知识图谱补全模型和负采样优化策略进行了实验验证。实验结果表明,与现有的知识图谱补全模型和负采样方法相比,本文提出的模型均取得了较好的实验结果。
基于概念约束的知识图谱补全及其在推荐系统中的应用
这是一篇关于知识图谱,表示学习,推荐算法,约束模型,高阶关系的论文, 主要内容为随着人工智能再次兴起,很多智能技术研究得到了空前发展,存储了人类大量先验知识的知识图谱因其独特的知识结构组织和强大的语义处理能力,在人工智能领域下的众多应用中发挥出的作用愈发强大,而知识图谱本身所广泛存在的数据稀疏问题也随之变得愈发明显和尖锐,因此知识图谱的补全成为了知识图谱技术的热点研究问题。同时推荐系统作为人工智能领域的重要技术也因数据稀疏性和冷启动问题面临着技术瓶颈,通过将可提供丰富的高质量知识的知识图谱作为辅助信息融入其中,成为了推荐系统解决自身局限性的关键技术手段,极大地提高了推荐能力。知识图谱补全任务一直以来都是通过将知识图谱中的实体与关系转换成同一语义空间中低维稠密向量从而得到更好的表示,即表示学习,并且已经取得很大进展,但依然存在以下问题:(1)知识图谱的内部结构信息,例如实体与实体间的层级关系未能得到有效利用;(2)知识图谱的外部多源信息,例如描述文本未能提出有效手段充分发挥其价值。另一方面,基于知识图谱的推荐算法主要研究如何通过结合知识图谱中的知识挖掘出推荐系统中用户与项目自身或彼此间的潜在联系,从而得到更高质量的推荐,如今已作为一个研究热点并取得了很好的效果,但依然存在以下问题:(1)难以有效挖掘并利用知识图谱中的高阶关系(2)缺乏与推荐算法相结合的知识表示方法,增强推荐的可解释性(3)尚未验证补全后的知识图谱对推荐效果的影响。本文针对上述问题,提出了一种新的知识图谱补全模型和基于知识图谱的推荐算法,并提出以端到端为基础的知识表示推荐优化框架KRRO,在补全部分,本文利用了知识图谱的内部和外部信息,区分了带有层级关系的传统三元组,学习了概念对实体的约束信息,三元组的结构信息以及通过本文提出的CNN+RNN混合模型编码的实体描述文本信息的共同表示;在推荐部分,本文将改良的知识图谱表示学习方法抽取出来学习补全后的知识图谱与用户-项目二部图的共同表示,通过GCN和GAT逐层学习获得知识图谱的高阶关系,提高了推荐系统的能力并增强了可解释性。通过相关实验表明,本文所提出的模型拥有更好的能力,在知识图谱补全和推荐算法的多项任务指标中取得很好的效果。
基于表示学习的实体对齐方法研究
这是一篇关于实体对齐,表示学习,翻译模型,图注意力网络,迭代对齐的论文, 主要内容为知识图谱为各种基于知识的智能应用提供数据支撑,在数据挖掘、人工智能等领域发挥着越来越大的作用。单个知识图谱难以满足各类应用所需的全部知识,知识图谱互连成为必然的趋势。近年来,基于表示学习的实体对齐方法法不断涌现,成为实现知识图谱互连的主流方法。但现有的方法有很多局限性:第一,它们或者仅利用知识三元组的语义平移关系,或者仅利用实体的拓扑结构特征,都只从单一语义视角学习实体向量并对齐实体;第二,在利用图卷积网络学习实体拓扑结构特征时只关注实体结点,忽视了或者不能有效利用实体的关系和属性信息,而且,在学习实体嵌入向量时不区分结点的重要性,而是对所有的结点使用相同的权重;第三,它们依赖较多的先验对齐实体,而对迭代对齐的研究较少。为了解决上述问题,本文提出一种图注意力网络和翻译模型相结合,同时迭代对齐实体的方法。该方法利用图注意力网络学习实体基于知识图拓扑结构的嵌入向量,根据节点的特征,为其分配不同的权重;同时,在实体-实体结构图之外,构建了实体-关系结构图和实体-属性结构图,从而在建模实体结构语义信息时融入关系和属性结构特征;采用迭代的方法对齐实体,为了缓解迭代时错误引入和传播的问题,提出一种双向对齐和权重衰减相结合的方法。在五个真实数据集上进行了对齐对比实验,实验结果表明本文提出的方法相较于基准方法有一定的改善。
面向知识图谱的表示学习研究
这是一篇关于知识图谱,表示学习,人工智能,复杂关系建模,多源信息融合的论文, 主要内容为随着科技的发展,我们逐渐进入一个信息化,智能化时代。海量新的数据和信息每天都以不同的形式产生,移动互联网已成为目前最有效便捷的信息获取平台,如何从海量数据中获取有效信息已成为众多领域面临的主要难题。因此,面向知识图谱的表示学习成为了人工智能领域的一个研究热点。知识图谱是关于现实世界中存在的“实体”以及实体间复杂语义“关系”的图结构。表示学习旨在将实体和关系投影到一个连续的低维向量空间,然后将知识分析推广为数值计算。近年来,研究者们提出了以TransE为代表的多种表示学习模型来表示知识图谱中实体与关系,并取得了显著的成果。然而,TransE在进行复杂关系建模和多源信息融合时,仍存在许多局限性。针对上述分析,本文主要研究内容如下:(1)针对现有TrasnE模型对复杂关系进行建模时的局限性问题,提出一种基于多翻译原则的表示学习方法。首先,训练过程中不断调整模型参数。其次,根据不同的关系类别,设置不同的翻译原则,有效地解决了对复杂关系建模时的局限性。(2)现有表示学习模型通常使用同一步长对不同复杂程度的实体和关系进行训练,不能很好地区分不同复杂程度的关系。为均衡步长对不同复杂程度的关系和实体的影响,根据实体和关系的复杂度设置一个动态步长以解决知识图谱异质性和不均衡性所带来的影响。(3)针对当前模型未能充分利用与知识相关信息的问题,提出一种融合实体和关系的文本描述信息的表示学习方法。通过新型标记方案对实体和关系联合抽取,并设置一个平衡因子融合文本描述信息与结构化信息以更好的表示知识图谱中的数据。
基于图注意网络的文本增强知识图谱表示学习
这是一篇关于知识图谱,表示学习,文本增强,图神经网络,注意力机制,深度学习的论文, 主要内容为知识图谱表示学习也称知识图谱嵌入,旨在挖掘知识图谱中涵盖的有效信息并转变为向量表示,从而更方便地被应用于机器学习和深度学习模型之中,并应用于检索、推荐、推理等目的。提高知识图谱表示学习模型的表达能力主要从两方面入手。1)知识图谱表示学习模型的改进。在传统知识图谱表示模型的基础上结合卷积神经网络模型、注意力机制以及目前备受关注的图神经网络等模型的优势针对模型架构设计进行优化。2)扩充知识库。由于只通过知识图谱的结构数据无法对图谱信息进行完整建模,因而试图通过一些外部的知识库信息来扩充知识图谱,并设计相应的知识增强模型来充分挖掘知识图谱的内容信息,从而达到提升性能的目的。本文主要研究内容包括:1)针对上述两个方面对知识图谱表示学习算法进行优化,提出了基于图注意网络的文本增强知识图谱表示学习模型TGAT,并基于WN18RR和FB15K-237数据集验证了TGAT模型在链接预测任务上的性能表现;2)为了验证算法在真实场景中的表现,我们结合保险行业的核保任务场景,构建了保险医疗知识图谱数据集MI225,验证了TGAT模型在MI225数据集上的性能表现;3)为了研究知识表示模型和深度学习模型的有机结合,我们提出了基于知识表示的深度学习模型框架,并在此基础上针对核保任务提出了基于知识表示的深度注意力核保模型KBDAN。实验表明,TGAT模型在MR、MRR以及Hits@N多个指标上较前人模型提升明显;同时,加入文本增强知识向量表示之后的核保模型的分类预测性能较其他经典知识表示模型有显著提升;另外,新提出的基于知识表示的深度核保模型KBDAN在多分类任务上较多种经典机器学习框架以及深度学习模型有性能优势。本文系统地实现了对知识图谱的结构信息以及内容信息的知识提取,通过将预训练知识表示模型应用于深度学习任务中,提升了下游任务中的分类以及推荐效果。
面向知识图谱的表示学习算法的研究与应用
这是一篇关于知识图谱,表示学习,问答系统,三元组的论文, 主要内容为随着时代的飞速发展,我们逐渐进入到了一个信息化、智能化时代。对于大规模知识图谱数据稀疏的问题,许多研究人员将知识图谱嵌入到一个连续的向量空间来解决。近年来,以深度学习为代表的表示学习(representation learning)技术掀起人工智能领域的一股浪潮,在语音识别、图像分析及自然语言处理等众多领域广受关注。面向基于知识图谱的表示学习研究实现了对实体和关系的分布式表示,显著提升了计算效率,有效缓解数据稀疏问题并且可以实现异质信息的融合,并且对人们从海量的数据中获取有效信息具有重大的意义。本文在分析面向知识图谱的表示学习相关原理和技术的基础上,结合生成式对抗网络、词向量表示技术,提出了自己的模型,并构建了一个基于知识图谱的问答系统,具体研究内容及成果包括以下几个方面:(1)针对现有的Trans系列算法生成的负样本不够好的问题,受生成对抗网络的启发,提出了KBGAN模型。在该模型的基础上,分别使用TransE、TransD作为判别器,使用DISTMULT、COMPLEX作为生成器共四组不同的组合进行了实验,结果表明,提出的KBGAN表示学习算法的性能均优于现有的主流算法。并且KBGAN模型具有广泛的适用性,同时不受外部本体约束。(2)提出了基于TEKE的表示学习算法,现有的表示学习算法主要从TransE的基础上,对其结构进行扩展,来达到提高算法性能的目的,忽视了知识库丰富的文本信息。本文构建了一个基于实体注释的文本语料库的共现网络,并在这个共现网络的基础上,将实体和词连接在一起,利用丰富的文本信息在知识图谱上进行表示学习。通过在标准数据集上所做的大量对比实验,验证了本文提出的模型在大多数情况下都比原来的模型取得了更好的效果,解决了复杂关系建模的问题,并在一定程度上缓解了知识图谱数据稀疏对表示学习模型性能的影响。(3)利用爬虫从网页收集数据,构建知识库三元组结构信息,设计了一个基于知识图谱的问答系统。通过pyspider爬虫框架获取网页数据,存入到MongoDB数据库,将数据转化为三元组形式,通过LSTM+CRF模型实现问答系统问题理解部分的问句实体识别,通过关键词集合得到目标属性,通过第三章和第四章的表示学习算法实现问答系统的答案获取部分,通过python的flask框架完成了系统的后台处理部分与前端展示模块,并对问答系统页面进行了展示。
面向金融知识图谱的推理方法的研究与实现
这是一篇关于知识推理,知识图谱,表示学习,负采样的论文, 主要内容为金融领域在长期发展过程中积累了海量大数据,构建一个具有较强语义理解能力的金融知识图谱则能够充分利用金融大数据的价值,挖掘其中的隐含信息,为金融业务提供帮助。知识图谱虽然以三元组形式存储了大量的知识,但同时也存在着事实缺失的问题,因此利用知识图谱中已经存在的实体、关系或事实信息来推理预测实体间的新关系,亦即知识推理,是目前知识图谱研究领域的重要组成。本文工作起始于金融知识图谱的构建,为了提升图谱的完备性,研究了面向金融知识图谱的知识推理方法。首先,本文根据金融领域数据知识专业、内容丰富、来源广泛的实际特点,设计了一种自顶向下和自底向上相结合的金融知识图谱构建方法,通过模式层指导数据层的构建,利用数据层的内容反哺模式层,补充本体的缺失。本文以此方法构建了一个具备金融机构股权知识与同业关系知识的中文金融知识图谱,支撑金融领域股权穿透与同业关系研究。其次,本文注意到目前的知识推理算法研究中存在两个挑战,分别是:如何使算法在利用知识图谱结构信息的同时,能够利用大规模文本数据中的上下文信息;如何缓解在算法模型训练过程中出现的负采样三元组低质量和假阴性问题。在这样的背景下,本文提出了联合分布式表示学习与预训练语言模型的知识推理算法,并在此基础上提出了引入生成对抗网络增强三元组负采样的知识推理算法。分布式表示学习能够较好学习知识图谱的结构信息,预训练语言模型由于强大的特征捕捉能力能够较好地学习大规模文本数据中的语义信息,二者联合训练有利于应对第一点挑战;通过生成对抗网络中生成器与判别器的对抗性学习,第二点挑战也能够应对。最终本文得到了融合结构与语义信息的对抗学习模型ScKGAN,实验表明,该模型具有良好的知识推理效果。本文在金融知识图谱上应用这一算法并以此为基础实现了一个原型系统,为用户提供图谱查询与推理结果质量评估的功能。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码导航 ，原文地址：https://m.bishedaima.com/lunwen/45373.html
