基于时序信息和统计信息的动态知识图谱推理

这是一篇关于动态知识图谱,知识图谱推理,时序信息,统计信息,实体预测的论文, 主要内容为知识图谱是实体和关系组成的拓扑结构网络,它可以结构化表示现实世界中的知识。动态知识图谱是在经典知识图谱中加入了时间维度信息,在动态知识图谱上做实体或关系预测,属于知识图谱推理的方向之一,在推理中既要预测可能出现的实体也要预测实体对之间可能出现的关系。依据以往对动态知识图谱的研究,为了提升对动态知识图谱的推理能力,本文提出了一种基于时序信息和统计信息的动态知识图谱推理模型。模型考虑了动态知识图谱中事件的时序性和动态性,还把事件的历史统计信息考虑到了对知识图谱的推理中。对于动态知识图谱推理问题,本文提出的模型主要分为了三个模块,分别是时序信息预测模块、统计信息预测模块和事实预测模块。时序信息预测模块是基于动态知识图谱中事件的时序性和动态性进行推理;其中有三个部分,第一部分是聚合器,模型选用的是RGCN作为聚合器,RGCN可以聚合目标实体周围所有关系下的邻近信息,包括聚合目标实体作为主体和客体的邻近信息。第二部分是编码器,为了对知识图谱中的事件有更好的时序编码,本文选用的是LSTM作为编码器,它可以对聚合信息进行时序编码获得事件之间的时序相关性。第三部分是解码器,解码器的功能是对编码信息进行特征提取和多分类预测,得到待预测实体的概率。统计信息预测模块对于给定(s,r,?,t)任务进行实体o预测的问题,首先是在距离当前时刻前m个时间戳下,统计满足(s,r,?)条件下实体o的信息,然后基于统计的历史信息,进行实体o的预测。事实预测模块在得到基于时序信息预测和统计信息预测的预测结果后,为了对(s,r,?,t)有更准确的预测,对于两个模块的预测结果进行加权融合,获得待预测实体o的最终概率。因为RGCN作为聚合器会聚合目标实体周围所有关系下邻近信息,把目标实体作为客体的信息也进行聚合,那么这部分信息就可能对模型的推理造成影响。为了减少聚合信息中可能的干扰信息,本文提出使用邻近向量均值聚合器代替原有的RGCN聚合器,邻近向量均值聚合器只聚合以目标实体为主体的邻近信息,会让聚合的信息更加准确。实验证明,本文提出的模型通过结合事件时序信息和统计信息,并加权融合两种推理方式的预测概率,让模型在动态知识图谱推理上有了更好的效果。在部分数据集中,使用邻近向量均值聚合器由于减少了聚合信息中的干扰信息,让其获得了更好的推理结果。

基于图卷积神经网络的时序知识图谱推理算法研究及应用

这是一篇关于时序知识图谱,时序信息,图结构,知识图谱推理的论文, 主要内容为知识图谱是一种基于图的数据结构,其本质上是语义网络,能够很好的承载现实世界中的知识信息。现实生活和虚拟网络中存在许多类型的图数据,例如:社交网络、情报关系网络、学术合作网络等。这些数据都不是一成不变的,更多倾向于在某个特定的时间段内成立,并呈现出随时间不断动态演化的特点。挖掘动态数据并进行可视化分析,掌握动态数据的变化趋势对人类预测未来事件有着重要意义。时序知识图谱是在知识图谱的基础上增加了时间信息,其关系往往和时间紧密关联,这使得“知识”变得与时俱进。基于时序知识图谱做实体或者关系预测,是知识图谱推理的方向之一。现有的大多数推理模型主要处理时间点或者时间范围以及实体/关系的动态演化过程的信息。基于静态知识图谱拓展的时序推理模型在处理动态、连续的时序知识图谱时存在较大的局限性,该模型难以兼顾时间和图结构的语义信息,这导致数据的时序信息运用不充分。本文针对以上问题展开研究,调研国内外有关时序知识图谱推理文献,并进行整理归纳,基于具有代表性的模型进行优化改进,提出了两种兼具创新性与有效性模型。为研究其应用价值,本文设计与实现面向俄乌冲突的时序知识图谱推理系统。论文具体工作如下:(1)提出了基于注意力机制和多关系事件的时序知识图谱推理模型针对现有模型时序编码信息能力差、推理模型长依赖等问题,为增强时序编码准确性,本文引入多头注意力机制作为序列编码器提高模型对序列信息的捕获能力,缓解模型因序列受长度限制的长依赖问题。同时,为增强知识图谱的语义结构化信息,提出注意力邻域编码器以充分学习查询任务下相关事实的关联性。最后,为验证模型的有效性,本文在大型公开数据集YAGO和WIKI上进行实验验证,验证了模型在时序知识图谱推理任务上的有效性。(2)提出了基于实体多维特征编码的时序知识图谱推理模型针对现有研究中实体信息获取片面、缺乏不同历史信息对待推理事件重要性度量与实体稳定性信息等问题。本文提出了实体多维编码保留多维实体语义信息,实体多维编码旨在引入三种实体特征编码,包括历史时间步上相对稳定的实体片段特征编码、实体演化特征编码、实体瞬时图特征编码的实体动态特征编码。同时,为充分利用三种编码的语义信息,引入多维感知卷积神经网络进行有效解码,计算得到不同维度下的预测得分并统计后得到最后的置信分数。最后在ICEWS14、ICEWS18、WIKI数据集上进行实验证明模型的有效性。(3)设计与实现面向俄乌冲突的时序知识图谱推理系统自俄乌冲突爆发以来,战争的局势一直备受关注,尽管网络上存在许多有关俄乌冲突的报道,因其数据离散且多为非结构化数据使得数据分析变得十分困难。针对以上问题,搜集网络中俄乌冲突事件相关数据,将文本所提模型作为后台推理算法,设计与实现面向俄乌冲突的时序知识图谱推理系统。该系统提供了按时间进行事件查询、知识推理以及可视化展示等功能,通过在俄乌冲突数据集上的应用,验证了时序知识图谱推理模型在实际应用场景进行事实的可行性。

基于图神经网络的会话推荐算法研究

这是一篇关于会话推荐,图神经网络,反向位置信息,时序信息的论文, 主要内容为在如今会话推荐算法中,大部分方法都是通过图神经网络来分析会话序列并建模用户的兴趣偏好。但目前大多数基于图神经网络的会话推荐算法都忽略了用户浏览物品的时间信息对推荐效果的影响,且存在着非相邻项的信息传播问题。此外,现有算法也忽略了会话中的各类辅助信息,比如物品转换关系和时序信息等,导致不能对会话序列进行准确建模。因此,为了解决上述问题,本文提出了两种改进的会话推荐算法,并结合所提算法设计了一个小型的个性化电商推荐系统。主要研究工作如下:(1)针对现有的图神经网络会话推荐算法没有充分考虑到用户浏览物品的时间信息,且存在着非相邻项的信息传播问题,提出了一种基于时间信息和Star-transformer的会话推荐算法(Time information and Star-transformer for Session Recommendation Algorithm,TSSR)。首先结合用户浏览物品的时间信息和图神经网络有效提取物品之间大量的复杂转换,捕获会话的局部依赖信息。其次利用Star-transformer网络结构来缓解非相邻项的信息传播问题,并结合多头注意力机制有效捕获会话的全局依赖信息。最后应用一种选通网络结合全局依赖信息和局部依赖信息并串联反向位置信息来生成会话的最终表示,给出用户的推荐列表。在两个公开数据集上的实验结果显示TSSR模型在推荐精准度和平均倒数排名方面均优于最新的会话推荐模型。(2)针对现有的图神经网络会话推荐算法忽略了各类辅助信息,导致不能准确地建模会话序列的问题,提出了一种融合物品转换关系和时序信息的会话推荐算法(Integrate Item Transition Relations and Time-order information for Session Recommendation Algorithm,RTSR)。首先利用图网络结构得到任意两个节点之间的最短路径序列,经过双向门控循环单元(GRU)将其编码为对应物品之间的转换关系,再结合自注意力机制从图的角度捕捉会话的全局依赖信息。同时设计了一种无损图编码方案来缓解会话图编码过程中信息损失的问题,该方案将会话序列中的时序信息进行合理地量化,并将其作为会话图中边的权重,再结合门控图神经网络获取会话的局部依赖信息。最后,线性组合全局依赖信息和局部依赖信息并串联反向位置信息来生成会话的最终表示,给出用户的推荐列表。实验结果表明,把物品的转换关系和会话的时序信息作为会话推荐的额外辅助信息可以有效地提升推荐性能。(3)在上述提出算法的基础上,设计并实现了一个电商推荐系统。首先把RTSR模型作为召回层,将用户的会话序列作为召回层的输入,从而对成千上万的商品进行召回,根据召回结果得到排名前K的推荐商品集。接着将Deep FM模型作为排序层,把推荐商品集输入到排序层对其进行重新排序。最后根据重排结果将排名靠前的商品信息作为最终的推荐结果,利用前端界面展示给用户。根据系统的展示结果证实了该系统能够利用匿名用户的会话序列信息来提高推荐的精度,从而在客户端展示对用户有潜在价值的商品。

基于评论文本的深度推荐算法研究

这是一篇关于深度学习,推荐系统,评论文本,时序信息,注意力机制的论文, 主要内容为为缓解互联网信息指数式增长带来的信息过载问题,推荐系统被广泛地应用于诸多领域中。评论文本包含着用户和商品的多元信息,推荐系统可以挖掘这些信息以预测用户对商品的偏好,推荐系统对此开展了丰富的研究。然而,如何提高评论文本语义理解能力,提取评论文本深层次的特征,捕获更全面的用户和商品特征,值得进一步研究。基于以上问题,本文探索了基于评论文本的推荐算法研究。现有的方法通常等价地交互用户和商品的特征,但用户特征表示用户对目标商品的偏好,商品特征表示商品的属性信息,即用户和商品的重要程度不同且不对称。因此,本文提出了基于评论文本自适应特征提取的推荐算法,该推荐算法首先使用动态词嵌入预训练模型BERT解决单词多义性问题,避免语义理解产生的偏差;然后利用Bi-GRU网络和注意力机制提取用户特征和商品特征,增强特征表达能力;最后设计了一种自适应特征拼接机制来平衡用户和商品在特征交互时的重要程度。该模型在6个亚马逊数据集上实验表明性能优于基准模型,自适应特征拼接机制可以有效地平衡用户和商品特征各自的重要程度,提高了预测评分精度。以往基于评论文本的推荐系统通常挖掘静态评论信息,建模用户和商品特征,忽略了用户偏好和商品流行度会随着时间变化而发生偏移的问题。因此,本文提出了基于评论文本长短期特征提取的推荐算法,该推荐算法首先采用词级和评论级两层注意力机制挖掘评论长期特征;然后设计了一种时间注意力层将时序信息和评论文本相结合,捕捉用户和商品的短期特征;最后引入协方差去除长期特征和短期特征间的冗余信息。在4个亚马逊数据集上的实验表明,该模型性能优于基准模型,长短期特征提取网络可以有效提取用户偏好和商品流行度的动态特征,提高推荐性能。

基于时序信息的社会化推荐算法研究与应用

这是一篇关于推荐系统,社会化推荐,时序信息,图卷积神经网络的论文, 主要内容为本文针对传统推荐算法中用户兴趣会随着时间变化发生兴趣漂移的现象,运用时序信息作为一种辅助信息,通过对一定时间步长的用户行为信息进行分析,挖掘出用户最近的兴趣喜好。通过使用时序信息有效地缓解用户兴趣漂移的问题。本文针对传统社会化推荐算法中只考虑社会兴趣从而忽略用户本身兴趣的问题,将用户自身的兴趣与社交网络中受到社会影响后的兴趣进行结合,构成用户最终的兴趣,并根据此兴趣对用户进行项目推荐。通过在社会化推荐中加入用户自身兴趣以解决忽略用户本身兴趣的问题。本文通过应用图卷积神经网络,结合时序信息、用户行为信息和社交信息,提出了基于时序信息的社会化推荐的算法,并根据该算法设计并实现了一个社会化推荐系统原型。本文的主要研究工作包括:1.对推荐算法、时序推荐、社会化推荐等算法的研究现状进行了阐述,根据每种推荐算法的优点与不足之处,提出了本文的主要研究内容和创新点,对本文研究的问题和现实意义进行了阐述。2.对于时序信息、社会化推荐、图卷积神经网络的相关内容进行了介绍,在相关理论的基础上,根据一定时间步长的用户的会话信息得到历史行为数据进一步分析用户的兴趣,又结合用户兴趣受到朋友影响的理论,阐述了基于会话的图卷积神经网络算法,描述了算法的框架和实现流程。在Douban、Delicious和Yelp三个数据集上与其他不同类型的推荐算法进行比较,使用了Recall@K和NDCG两个排序的度量标准进行评估,对实验结果进行分析。还针对用户兴趣以及社会化影响进行了对比实验,分析出对于用户当前的兴趣和他的社交属性进行建模是至关重要的,能够有效地提高推荐系统的推荐准确度和性能。3.通过对本文提出的推荐算法进行研究分析,将社会化推荐算法应用到豆瓣的资源推荐中,考虑豆瓣未将社交资源应用到资源推荐中的问题,提出了新的社会化推荐应用场景,以豆瓣网页版为参照,设计并实现了一个社会化推荐系统原型;并对推荐系统的需求分析、总体设计、功能模块进行了详细描述,最后模拟了新用户在本系统中运作的过程。

基于图神经网络的会话推荐算法研究

这是一篇关于会话推荐,图神经网络,反向位置信息,时序信息的论文, 主要内容为在如今会话推荐算法中,大部分方法都是通过图神经网络来分析会话序列并建模用户的兴趣偏好。但目前大多数基于图神经网络的会话推荐算法都忽略了用户浏览物品的时间信息对推荐效果的影响,且存在着非相邻项的信息传播问题。此外,现有算法也忽略了会话中的各类辅助信息,比如物品转换关系和时序信息等,导致不能对会话序列进行准确建模。因此,为了解决上述问题,本文提出了两种改进的会话推荐算法,并结合所提算法设计了一个小型的个性化电商推荐系统。主要研究工作如下:(1)针对现有的图神经网络会话推荐算法没有充分考虑到用户浏览物品的时间信息,且存在着非相邻项的信息传播问题,提出了一种基于时间信息和Star-transformer的会话推荐算法(Time information and Star-transformer for Session Recommendation Algorithm,TSSR)。首先结合用户浏览物品的时间信息和图神经网络有效提取物品之间大量的复杂转换,捕获会话的局部依赖信息。其次利用Star-transformer网络结构来缓解非相邻项的信息传播问题,并结合多头注意力机制有效捕获会话的全局依赖信息。最后应用一种选通网络结合全局依赖信息和局部依赖信息并串联反向位置信息来生成会话的最终表示,给出用户的推荐列表。在两个公开数据集上的实验结果显示TSSR模型在推荐精准度和平均倒数排名方面均优于最新的会话推荐模型。(2)针对现有的图神经网络会话推荐算法忽略了各类辅助信息,导致不能准确地建模会话序列的问题,提出了一种融合物品转换关系和时序信息的会话推荐算法(Integrate Item Transition Relations and Time-order information for Session Recommendation Algorithm,RTSR)。首先利用图网络结构得到任意两个节点之间的最短路径序列,经过双向门控循环单元(GRU)将其编码为对应物品之间的转换关系,再结合自注意力机制从图的角度捕捉会话的全局依赖信息。同时设计了一种无损图编码方案来缓解会话图编码过程中信息损失的问题,该方案将会话序列中的时序信息进行合理地量化,并将其作为会话图中边的权重,再结合门控图神经网络获取会话的局部依赖信息。最后,线性组合全局依赖信息和局部依赖信息并串联反向位置信息来生成会话的最终表示,给出用户的推荐列表。实验结果表明,把物品的转换关系和会话的时序信息作为会话推荐的额外辅助信息可以有效地提升推荐性能。(3)在上述提出算法的基础上,设计并实现了一个电商推荐系统。首先把RTSR模型作为召回层,将用户的会话序列作为召回层的输入,从而对成千上万的商品进行召回,根据召回结果得到排名前K的推荐商品集。接着将Deep FM模型作为排序层,把推荐商品集输入到排序层对其进行重新排序。最后根据重排结果将排名靠前的商品信息作为最终的推荐结果,利用前端界面展示给用户。根据系统的展示结果证实了该系统能够利用匿名用户的会话序列信息来提高推荐的精度,从而在客户端展示对用户有潜在价值的商品。

基于时序信息的社会化推荐算法研究与应用

这是一篇关于推荐系统,社会化推荐,时序信息,图卷积神经网络的论文, 主要内容为本文针对传统推荐算法中用户兴趣会随着时间变化发生兴趣漂移的现象,运用时序信息作为一种辅助信息,通过对一定时间步长的用户行为信息进行分析,挖掘出用户最近的兴趣喜好。通过使用时序信息有效地缓解用户兴趣漂移的问题。本文针对传统社会化推荐算法中只考虑社会兴趣从而忽略用户本身兴趣的问题,将用户自身的兴趣与社交网络中受到社会影响后的兴趣进行结合,构成用户最终的兴趣,并根据此兴趣对用户进行项目推荐。通过在社会化推荐中加入用户自身兴趣以解决忽略用户本身兴趣的问题。本文通过应用图卷积神经网络,结合时序信息、用户行为信息和社交信息,提出了基于时序信息的社会化推荐的算法,并根据该算法设计并实现了一个社会化推荐系统原型。本文的主要研究工作包括:1.对推荐算法、时序推荐、社会化推荐等算法的研究现状进行了阐述,根据每种推荐算法的优点与不足之处,提出了本文的主要研究内容和创新点,对本文研究的问题和现实意义进行了阐述。2.对于时序信息、社会化推荐、图卷积神经网络的相关内容进行了介绍,在相关理论的基础上,根据一定时间步长的用户的会话信息得到历史行为数据进一步分析用户的兴趣,又结合用户兴趣受到朋友影响的理论,阐述了基于会话的图卷积神经网络算法,描述了算法的框架和实现流程。在Douban、Delicious和Yelp三个数据集上与其他不同类型的推荐算法进行比较,使用了Recall@K和NDCG两个排序的度量标准进行评估,对实验结果进行分析。还针对用户兴趣以及社会化影响进行了对比实验,分析出对于用户当前的兴趣和他的社交属性进行建模是至关重要的,能够有效地提高推荐系统的推荐准确度和性能。3.通过对本文提出的推荐算法进行研究分析,将社会化推荐算法应用到豆瓣的资源推荐中,考虑豆瓣未将社交资源应用到资源推荐中的问题,提出了新的社会化推荐应用场景,以豆瓣网页版为参照,设计并实现了一个社会化推荐系统原型;并对推荐系统的需求分析、总体设计、功能模块进行了详细描述,最后模拟了新用户在本系统中运作的过程。

基于时序信息的推荐系统研究

这是一篇关于时序信息,会话,自注意力机制,门控循环单元,注意力机制的论文, 主要内容为随着移动互联网的不断发展,如今越来越多的人可以很容易的在互联网中获取各种各样的服务如听音乐、网络社交、看电影等。但随着互联网上的信息越来越多,人们发现很难从这些大量的信息中选择自己感兴趣的内容,对信息的使用效率越来越低。推荐系统的出现很好的解决了这种信息超载的问题。推荐系统会利用用户的历史交互数据进行自动化的分析,为用户匹配符合自身喜好的内容,缓解了人们从大量信息中做出选择的烦恼。推荐系统的本质是通过用户、物品的属性信息和用户与物品之间的交互来对用户未来的行为进行预测。因此推荐系统必须具有识别用户偏好和预测用户对物品喜爱程度的能力,然后根据喜爱程度的高低来决定应该推荐的物品。根据实现这种能力方法的不同,我们可以将传统的推荐系统概括为以下的三种类别:基于内容匹配的推荐系统、基于协同过滤以及混合的推荐系统。这些方法通过对用户与用户,物品与物品之间的相似度计算,来理解用户偏好,预测用户的行为产生推荐,也取得了不错的推荐效果。但这些传统的推荐方法往往忽略了用户交互行为中的时序信息和因果联系,仅仅静态的构建用户的偏好和属性,随着推荐系统应用场景的多元化和复杂化,以上的这些方法显得有些“力不从心”。如今,随着大量先进的技术和算法被引入到推荐系统当中,挖掘用户行为序列中的时序信息,动态的构建用户的兴趣偏好已成为当前推荐系统中重要的研究方向。卷积神经网络、循环神经网络和注意力机制这些深度学习方法被广泛的应用到用户时序信息的建模当中,通过捕捉用户的长期兴趣和短期兴趣产生推荐,大大提高了推荐效果。然而,现有方法仅采用用户近期的行为来代表用户的短期兴趣,忽略了用户长期兴趣演化过程中也存在短期行为相似的特点,没能很好的捕捉用户的长短期偏好。为此,本文提出了一种新的基于时序信息的推荐系统,共采用两层结构:第一层,短期兴趣抽取层,将用户行为序列划分为不同的会话,利用自注意力机制来抽取用户会话中的短期兴趣特征,形成用户的兴趣演化序列;第二层,长期兴趣演化层,利用门控循环单元和注意力机制计算不同会话下用户的短期兴趣特征在用户长期兴趣演化过程中的贡献程度,输出用户当前兴趣特征表示。最后,采用隐语义模型的方法利用用户兴趣特征向量和商品向量相乘得出用户的兴趣得分,为用户推荐下一个商品。本文采用天猫平台真实的交互数据集进行实验,在Recall@20和MRR(Mean Reciprocal Rank)的评估指标上,本模型相比于表现第二好的模型分别提升了16.2%和11.6%,与其他现有的方法相比推荐效果更好。