融合“全信息”的知识图谱分布式表示研究与应用
这是一篇关于知识图谱嵌入,全信息,义原特征,深度学习的论文, 主要内容为知识图谱分布式表示学习方法受到深度学习的启发,将知识嵌入到低维稠密的向量空间,从而降低图谱稀疏性,提高计算效率,而目前基于融合辅助信息来优化知识表示学习的研究工作相对较少,并具有较大的发展空间。本文在全信息理论和义原理论的启发下,创新性地提出了基于义原特征的全信息知识表示学习模型(Comprehensive-Information Knowledge Representation Learning Model Based on Sememe Feature,CIKRL-S),以义原特征词组成的语法及语用信息来构建实体辅助信息,降低数据噪声影响。本文在实体全信息编码阶段,提出了基于预训练BERT模型的全信息编码机制,将编码应用于CIKRL-S模型,在实体链接预测和三元组分类任务中证明了其有效性。许多图谱数据并不包含义原特征,且义原标注费时费力,为了解决上述问题,本课题结合义原预测技术提出了融合全信息的知识表示学习框架(Sememes-based Framework for Knowledge Graph Embedding with Comprehensive-Information,SCIKE),并在实体链接预测、三元组分类以及实体类型分类任务中,对比以往的研究工作,取得了最优结果。最终,考虑当下知识表示学习研究工作中有关数据资源分散,实验步骤繁琐等痛点,本文结合多方开源技术,构建了知识向量工厂原型系统,旨在提高该领域的科研效率。
面向公共文化领域的实体对齐方法研究与实现
这是一篇关于公共文化知识图谱,实体对齐,知识图谱嵌入,关系语义增强,多跳邻居聚合的论文, 主要内容为随着公共文化的繁荣以及知识图谱的快速发展,各个文化组织构建公共文化知识图谱来抽象建模公共文化资源之间的关联关系,然而现有公共文化知识图谱规模小、丰富度低,不能有效支撑公共文化服务,因此,需要利用实体对齐方法找出不同公共文化知识图谱之间语义相同的资源实体,从而为融合形成大规模的公共文化知识图谱奠定基础,为公共文化服务提供支撑。早期的实体对齐依靠本体推理匹配规则或属性的相似度进行实体对齐,但不同的知识图谱的本体结构和属性类型不同,方法适用性弱。之后,研究者们利用知识图谱嵌入模型生成蕴含语义信息的实体嵌入,通过比较实体嵌入之间的相似度得到实体对齐结果,这类实体对齐方法可用于公共文化领域。然而,公共文化知识图谱中关系类型少,现有实体对齐方法用于公共文化知识图谱时,生成的实体嵌入对语义表示不足,导致实体对齐准确率不高,因此,为了使实体嵌入语义表示充分,本文从知识图谱嵌入模型和实体对齐方法两个方面进行研究,主要研究工作包括以下三个方面:(1)为了丰富实体嵌入的语义,提出了基于关系语义增强的知识图谱嵌入模型。首先引入互逆关系,为公共文化知识图谱中的关系添加其对应的互逆关系,扩充公共文化知识图谱的中的关系类型,挖掘知识图谱的隐含语义信息。其次使用高效建模互逆关系的Rotat E模型生成知识图谱的初始嵌入向量;之后将关系信息显式的用于实体嵌入的生成过程,提出了基于关系语义增强的图注意力网络;最后通过联合训练Rotat E模型和关系语义增强的图注意力网络模型生成语义信息丰富的实体嵌入。(2)为了提高实体对齐准确率的同时降低系统开销,提出了基于自适应多跳邻居聚合的实体对齐方法。首先根据对齐阈值区间筛选目标实体的候选对齐实体集,然后对于目标实体和候选对齐实体,设置跨图权重和图内权重来聚合符合选择规则的多跳邻居实体信息得到邻居聚合嵌入,充分捕获实体对之间重要邻居信息之间的相似性,最后将邻居聚合嵌入与实体嵌入连接用于实体对齐计算,生成实体对齐结果。(3)为验证上述理论研究,本文设计并实现了公共文化知识图谱实体对齐原型系统,并将其集成到公共文化资源知识图谱系统平台中。在真实的公共文化数据集上进行实体对齐,从而验证本文提出的实体对齐方法的可行性。综上所述,为了更好的融合公共文化知识图谱,提高公共文化服务质量,本文针对知识图谱实体对齐问题进行了深入研究。首先提出基于关系语义增强的知识图谱嵌入模型,在此基础上提出了基于自适应多跳邻居聚合的实体对齐方法,最后设计并实现了公共文化知识图谱实体对齐原型系统,并通过一系列的对比实验与系统实验验证了本文研究成果的可行性与有效性。
基于胶囊网络知识图谱嵌入的图书推荐算法
这是一篇关于知识图谱,知识图谱嵌入,推荐算法,胶囊网络的论文, 主要内容为推荐算法正随着互联网的蓬勃发展而发挥着越来越重要的作用,数据总量呈指数级增长,使得越来越多的用户在大量无用、冗杂的信息中迷失。目前,推荐算法主要通过使用用户和物品的交互数据作为输入,进行相似度计算,实现推荐功能,当推荐算法输入数据不足时就会出现数据稀疏和冷启动问题,使得推荐结果不准确,用户对推荐系统的好感度降低。为增加用户对个性化推荐服务的使用意愿,在推荐算法中引入知识图谱,深入挖掘知识图谱中丰富的实体及关系特征,对提供更加准确、多样和可解释的推荐算法有着重要的实用价值。对此,本文的主要研究工作如下:首先,为丰富推荐算法的输入,使推荐结果更具多样性,本文将知识图谱引入推荐算法中。通过Scrapy爬虫框架和实体对齐等技术构建计算机类图书知识图谱。知识图谱中含有丰富的实体及实体间语义关系对构建可解释的推荐算法很有帮助,并且可以增加物品的特征描述,使推荐结果更具多样性。其次,为使推荐算法和知识图谱能够有效融合,本文提出一种基于关系记忆的胶囊网络知识图谱嵌入模型(CNKGE)。通过CNKGE模型先行处理知识图谱,利用关系记忆网络编码知识图谱中的三元组特征,再通过胶囊网络进行特征处理,能够对知识图谱中实体及实体间关系有效建模,增加知识图谱中的知识来源,对缓解数据稀疏问题行之有效。最后,提出一种结合知识图谱、CNKGE模型和协同过滤算法的推荐算法——CNKGE-CF。将本文构建的计算机类图书知识图谱中的实体和关系通过CNKGE模型映射到向量空间中,再通过计算向量空间中实体之间的距离,可以得到基于知识图谱的潜在语义的图书相似度;然后通过用户与图书的交互数据构建用户兴趣矩阵,生成基于用户兴趣爱好的图书相似度;将两种图书相似度按照一定比例混合,得到最终的图书相似度;将用户兴趣矩阵与最终的图书相似度结合,预测用户对未交互过的图书的偏好概率值;根据数值大小降序排列,生成推荐列表推荐给用户。通过实验证明,本文提出的基于胶囊网络知识图谱嵌入的图书推荐算法能够在一定程度上提升推荐算法的性能,较传统的推荐算法在准确率、F1值上都有所提高。
面向知识图谱嵌入的负采样方法研究
这是一篇关于知识图谱嵌入,负采样,生成对抗网络,注意力,推荐系统的论文, 主要内容为随着信息技术和互联网的快速发展,数据资源越发丰富,且数据间的关联也更加复杂多变,仅仅依靠简单文字匹配的信息服务已经难以满足用户需求,知识图谱(Knowledge Graph)应运而生。知识图谱不仅可改良信息服务,其蕴涵的丰富语义关联信息,在知识问答、辅助推理、个性化推荐等领域也表现出重要的应用价值。作为图谱表示的关键技术,知识图谱嵌入(Knowledge Graph Embedding)是将其应用于下游任务的重要前提,学术界提出各种创新模型来提升嵌入效果。但由于知识图谱实体数目庞大,目前在嵌入模型训练中广泛使用的随机负采样效率低下,且容易产生梯度消失和过拟合。为解决上述问题,本文基于生成对抗网络(Generative Adversarial Networks,GAN),充分挖掘实体关系的标签语义,开展了面向知识图谱嵌入模型的负采样方法研究。完成的主要工作如下:(1)现有的嵌入模型缺乏有效的负采样方法,这影响了模型的训练效果;同时,知识图谱中的关系包含丰富的语义信息,但现有嵌入模型对该信息挖掘不够深入。针对这些问题,本文从对关系标签建模的角度,提出一个基于GAN的知识图谱嵌入负采样算法NSGAN,对嵌入模型进行优化。NSGAN分为生成器和判别器两个部分,生成器首先对关系嵌入进行抽象聚类,得出关系标签;随后使用多头注意力机制,自适应地衡量生成的负样本在面对不同的头/尾实体时,蕴涵的关系标签的权重,最终生成假阳性关系向量,并基于该向量从知识图谱中采样出一批负样本实体,用于更新作为判别器的知识图谱嵌入模型。在NSGAN整体训练流程上,是进行初始化嵌入后,以交替更新生成器和判别器的方式进行联合训练。(2)进一步地,本文在NSGAN的基础上,将其扩展到知识图谱应用的重要领域——推荐任务中,提出了一个基于知识图谱嵌入负采样优化的推荐模型NSGAN-RS。该模型首先通过用户项目交互二部图中项目与知识图谱中实体的重叠部分构建了协同图谱,并使用NSGAN优化的Trans R模型对协同图谱进行嵌入表示;在推荐模块中,对目标用户项目采用注意力机制加权并聚合它们的邻域信息得出推荐表示,再将推荐表示和原始嵌入表示进行拼接,进行目标用户对目标项目的偏好值预测。NSGAN-RS模型同样对嵌入损失和推荐损失进行交替优化。(3)在Word Net、Freebase和Amazon-book等多个数据集上进行了详细的对比实验,结果表明,NSGAN优化后的知识图谱嵌入模型均有性能上的提升,且表现优于当前的负采样算法。在下游任务中,NSGAN-RS模型与基线算法的对比实验以及消融实验也进一步验证了NSGAN良好的泛化性能。
基于深度学习的兴趣点推荐算法及优化研究
这是一篇关于兴趣点推荐,矩阵分解,知识图谱嵌入,神经网络,协同过滤的论文, 主要内容为随着基于位置社交网络(Location Based Social Network,LBSN)的兴起,兴趣点推荐成为了生活中不可或缺的服务。因而兴趣点推荐在推荐服务领域中成为了热门的研究领域。在兴趣点推荐中主要面临两个问题,一个是用户对兴趣点评分数据的稀疏性问题。另外一个是用户与兴趣点的特征向量表示问题。传统的协同过滤推荐算法虽然能解决数据稀疏性问题,但是推荐效果并不理想。近年来随着深度神经网络算法的兴起,由于深度学习可对数据进行升维或降维表示的特性,引来不少基于深度学习在推荐系统上应用的研究。同时,基于概率矩阵分解算法和知识图谱理论的广泛应用,为兴趣点推荐中用户和兴趣点的向量表示带来了新的发展。为了利用这些新兴的技术解决兴趣点推荐面临的数据稀疏问题和用户与兴趣点的隐藏特征向量表示问题,本文进行了以下工作:(1)总结当前现有的推荐算法,评价体系和常用数据集,提出基于LBSN的兴趣点推荐框架。为兴趣点推荐的研究工作提供研究基础。(2)利用基于概率矩阵分解的方法,融合多种因素,从而提高用户和兴趣点的特征向量表示的精度。结合协同过滤推荐算法,提出名为TGSS-MF的推荐模型,与已有的基于深度神经网络学习用户与兴趣点的交互进行推荐的算法进行比较。实验结果表明在Precision@k和Recall@k两个指标上,基于深度学习的推荐算法优于基于单因素的矩阵分解推荐算法,但逊色于融合了多种LBSN特征的TGSS-MF模型。(3)融合知识图谱和深度神经网络,提出名为AKG-DNNRec的兴趣点推荐模型。模型通过深度神经网络,处理了在知识图谱中游走时造成的信息损失,对用户和兴趣点的特征向量表示更加精确。经实验比较分析,本文所提出的模型,相较于单独使用知识图谱嵌入算法或深度神经网络算法,可以获得更好的推荐效果。
基于知识图谱和多目标优化的习题推荐系统的研究与实现
这是一篇关于推荐系统,知识图谱,多目标优化,知识图谱嵌入的论文, 主要内容为随着互联网的快速发展以及教育信息化的推广,在线教育得到了快速发展,相关教学体系和配套平台逐渐完善,越来越多的在线教育平台不断出现,使得在线教育面向的学习者群体也随之不断扩大。习题可以帮助学习者巩固已学知识,检验知识的理解程度。习题贯穿于整个教学的过程中,其作用体现在各个方面,习题对于各阶段的学习者来说都是很重要的学习资源。但是现在太多杂乱无章的习题,并不能为学习者提供很好的帮助,为此给学习者推荐合理有效的习题是很有必要的。本文以习题推荐的个性化、智能化为主要目标,通过对习题资源进行构建知识图谱,再通过多目标优化算法,从而实现对学习者的个性化习题推荐。习题推荐应用场景较为复杂,传统的推荐算法已经不能满足用户多样性的需求。为了解决这一问题,本文提出了一种基于知识图谱和多目标优化的推荐算法,以同时优化新奇性、多样性、准确性和召回率四个推荐目标。在推荐之前,根据学习者行为偏好以及习题相关特性,构建了学习者习题偏好集,为后续推荐提供了基础。本文提出了两种改进算法:1)在底层,提出一种可变权重的评分函数的知识图谱嵌入算法,将习题之间的关联信息,转变为向量之间的关系;2)在顶层,提出改进的多目标优化算法对推荐列表进行优化。综合实验表明,该算法能有效地改进四个推荐的评价指标。在保持准确性的同时,以更高效的方式为学习者提供了一个包含新奇多样项目的习题推荐列表。本系统在上述理论研究下,根据在线习题平台的特点,将系统划分成学习者端和管理员端,并实现了相关功能。采用前后端分离的开发模式,采用了Vue和Spring Boot作为前后端开发框架,使用Java语言开发,基于B/S结构,数据库采用My SQL数据库。本系统已开发完毕并通过了相关测试,系统完成度较高。
面向科学领域论文摘要的相似度计算研究与实现
这是一篇关于知识图谱,知识图谱嵌入,图卷积,孪生网络,文本相似度计算的论文, 主要内容为文本相似性度量用来表示文本的语义相似度大小。近年来科学论文数量剧增,科学论文具有很强的针对性、严谨性、段落长、高度程序化等特性,语句结构复杂严谨,包含了丰富的领域知识,专业性极强。论文的摘要部分凝结了主要研究的方法理论、技术、研究过程等信息内容,能表达科学论文主要的研究内容信息,为研究人员高效地、快速地获取有用的内容提供方向。本文以科学论文的摘要为对象,进行文本相似度计算研究。本文以新冠领域科学论文数据集为例,结合知识图谱嵌入技术,构建了图卷积和孪生卷积神经网络的文本相似度计算模型,实验结果表明,在该领域科学论文摘要的文本相似度上取得了很好的效果。具体工作内容如下几个方面:(1)构建COVID-19科学知识图谱。本文采用云南高校的数据科学智能计算重点实验室“COVID-19”论文集、国际顶级医学期刊、中医药核心期刊和西药治疗科学文献组成的数据集。对数据进行预处理,建立了摘要文本的本体,通过本体及实体定义联合知识抽取,引入概念层次和领域知识,构建COVID-19科学知识图谱三元组,最后使用Neo4j对知识图谱进行存储。(2)COVID-19科学知识图谱的无标签化与泛化处理。首先,用表示法对知识图谱进行初始化,保留知识图谱的结构和语义信息,以获得初始化的嵌入向量;接下来,用关系对知识图谱进行初始化,将表征向量分配给结点;将关系分配给边节点;最后,对知识图谱进行关系泛化处理,得到了无标签化COVID-19科学知识图谱。(3)文本相似度计算。结合知识图谱嵌入技术,实体和关系被嵌入到一个连续的矢量空间,保留了知识图谱的原有结构。最后构建图卷积神经网络和孪生卷积神经网络,对无标签化COVID-19科学知识图谱进行特征提取,通过学习知识图谱的特征表示得到文本特征向量来计算相似度,实验中,用Drop＿node来抑制图卷积神经网络过拟合现象。
知识图谱在CyclE模型上的嵌入研究
这是一篇关于知识图谱嵌入,平移距离模型,循环卷积,CyclE的论文, 主要内容为随着互联网时代的到来,网络数据呈现出爆炸式增长的现象。该现象从社会各层面反映出来,包括法律与军事、金融与商业、医疗与科技、文化与娱乐等领域。计算机硬件技术的飞速发展,为海量数据的存储和研究提供了可能。数据中包含着潜在知识和价值,科学家们利用知识图谱对学到的知识建模从而更好地对其整理和探究。知识图谱是结构化的语义网络知识库,能够描述客观世界中的实体及其相互联系,可被看作是由结点和边连接所构建的大型网状拓扑结构。然而知识图谱只起到了知识结构建模和知识存储作用,无法投入大规模的、需要计算机自动化识别或预测的实际应用。为解决这一问题,知识图谱嵌入模型的概念应运而生。学者们通过定义一种能够解释知识链接与转换机制的数学运算,将知识图谱嵌入到某代数空间中,让计算机学习知识在嵌入空间中的形式化表示,将其应用到相关实际任务中,如链路预测、关系抽取、实体检测等,从而实现知识图谱在大型任务上的自动化操作。目前,研究知识图谱嵌入模型始终是一个不断优化近似解的过程,不存在最优解;且不同模型在不同知识图谱上呈现的嵌入效果也有所差别。因此,对知识图谱嵌入模型的探究和分析,有利于为将来的针对性实际应用夯实理论实践基础。本文对历年研究知识图谱嵌入模型的文献进行了整理综述,对嵌入模型的训练过程进行了探究,从中总结出了训练知识图谱嵌入模型的一般步骤、主要环节、重点关注的细节和常用训练算法策略、优化方法等,分析了某些方法策略的优劣和局限性,并提出了改进方法。另外,本文受到数学中卷积运算的启发,提出了一种基于循环卷积的新知识图谱嵌入模型——Cycl E模型。理论层面,通过详解循环卷积的定义、性质及证明,解释了该模型作为知识图谱嵌入模型的可能性和模型特点,并据此提出了两个经改进的衍生模型,阐释了改进的出发点和原因。实践层面,在嵌入模型研究领域常用的数据集上进行建模,实现了提出的三个Cycl E模型,通过比较实验效果选出了一个最优的模型;接着,在此基础之上做了对照实验,寻找并分析了关键变量的作用,评估了不同优化策略的有效性及其与不同模型、数据集的适配性;然后,在相同条件下,将效果最佳的Cycl E模型与经典平移距离模型Trans E进行对照实验,评估指标主要采用MR、MRR和HITS@n和自定义指标p-MR。实验结果显示,Cycl E模型的效果在大多数指标上优于Trans E模型,从而证明了Cycl E模型的有效性。本文的创新之处在于新模型的提出,第一次提出将循环卷积运算嵌入平移距离模型,大量实验结果证明了新模型的有效性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码小屋 ，原文地址：https://m.bishedaima.com/lunwen/46332.html
