5篇关于注意力网络的计算机毕业论文

今天分享的是关于注意力网络的5篇计算机毕业论文范文, 如果你的论文涉及到注意力网络等主题,本文能够帮助到你

基于知识图谱注意力网络的推荐系统

这是一篇关于推荐系统,知识图谱,注意力网络,可解释推荐的论文, 主要内容为近年,在大数据背景下,推荐系统通常利用协同过滤和深度学习技术从海量数据中挖掘有效信息,以提升推荐表现。但是,协同过滤技术仅利用了用户-项目的交互数据进行推荐,而没有利用辅助信息,无法深入挖掘用户与项目之间的联系,面临着数据稀疏性和冷启动问题。同时基于深度学习的推荐模型大多不具备可解释性,导致推荐系统无法提供合理的推荐解释,用户体验较差。为了缓解这些问题,目前主流的解决思路是在推荐系统中引入辅助信息。而知识图谱作为一种语义化知识库,能够包含丰富的辅助信息,基于知识图谱的推荐系统逐渐成为研究热点。然而,目前基于知识图谱的推荐系统在研究和应用中仍面临着诸多问题:(1)针对推荐数据集构建的知识图谱存在干扰信息;(2)推荐模型未能有效结合知识图谱的语义信息与用户-项目交互数据蕴含的协同信息;(3)推荐系统无法提供推荐解释、推荐模型本身不具备可解释性;(4)用于推荐的深度学习模型结构复杂、训练时间过长,不适合实际应用场景。针对以上问题,本文提出并实现了一种基于知识图谱注意力网络的推荐系统,该系统利用知识图谱增强用户与项目之间的联系,以实现更准确的推荐服务,并结合注意力网络和推荐解释生成算法使推荐系统具备可解释性。本文的主要研究工作包括:(1)针对传统的知识图谱构建方法工作量太大、构建的知识图谱存在干扰信息等问题,提出了一种联系增强的知识图谱构建方法,利用推荐数据集与开放领域知识库之间的链接将开放领域知识库中的辅助信息引入推荐系统,以增强用户与项目之间的联系。(2)针对基于深度学习的推荐模型缺乏可解释性、训练时间过长且没有结合语义信息和协同信息的问题,提出了一种用于推荐预测的协同多视角注意力网络(Collaborative Multi-View Attention Network,CMVAN)推荐模型,从用户、项目两个视角整合知识图谱中有效的辅助信息,并实现协同信息与语义信息的有效结合,从而深入挖掘用户与项目之间的联系,以提升模型的推荐表现。通过在三个推荐领域的公开数据集上的对比实验,验证CMVAN模型在准确率和训练成本方面的有效性。(3)针对推荐系统不具备模型固有的可解释性,或无法提供推荐解释的问题,本文在CMVAN推荐模型的基础上,提出了一种推荐解释生成算法,将注意力网络权重与知识图谱的关系相结合,定位用户感兴趣的关键实体,生成文本形式的推荐解释,实现推荐系统的可解释性。(4)基于以上推荐模型和解释生成算法,设计并实现了一个基于知识图谱的可解释推荐系统,验证本文提出的推荐模型和解释生成算法在实际应用场景下的有效性。

基于变分推断的序列推荐方法研究

这是一篇关于变分推断,注意力网络,自注意力网络,序列推荐的论文, 主要内容为在当前信息爆炸的时代,网络上产生了大量的新闻、商品、音乐和视频等内容。推荐系统能够从海量数据中挖掘有用的信息,在我们的日常生活中起着越来越重要的作用。序列推荐作为推荐系统的一个重要分支,试图捕捉用户的动态偏好,已经吸引了学术界和工业界众多人的目光,具有举足轻重的地位。近年来,变分推断思想在各个研究领域取得了巨大的进展,在推荐领域同样显示了良好的作用。由于其贝叶斯性质,我们可以学习到用户和项目的复杂非线性分布表示,同时能够很好的捕获用户偏好表示中的不确定性。鉴于此,本文主要研究如何依据变分推断思想来增强序列推荐效果,使用户获得更优质的项目。本文的主要工作如下:(1)梳理了当前推荐算法的研究背景和意义,阐述了研究现状,接下来介绍了序列推荐相关概念及文章用到的技术。(2)为了增强对用户长短期行为的建模,本文提出了分层变分推断模型,该模型首先通过长期变分推断层获得注意力向量,再使用变分推断获得用户的长期偏好表示。然后使用分层结构通过混合变分推断层将用户的长期行为和短期行为集成起来,试图增强推荐效果。最后在两个公开的真实世界的数据集上执行实验,展示了该模型的有效性。(3)为了捕获用户偏好的不确定性,本文提出了变分自注意力网络,该网络利用变分推断得到随机潜在变量,其方差可以很好地表征用户偏好的不确定性。同时使用自注意力网络来学习变分自编码器的推断过程和生成过程。最后在两个公开的真实世界的数据集上执行实验,表明了该方法的有效性。(4)根据以上两种序列推荐方法,本文设计了一个基于变分推断的电影推荐系统,验证了本文提出的两种与变分推断思想相关的方法的实用性。

基于实体连通差异和目标导向的注意力网络研究

这是一篇关于知识图谱嵌入,链接预测,实体连通差异,目标导向注意力,注意力网络的论文, 主要内容为知识图谱作为当前社会人工智能发展基石,具有十分重要的作用和地位。随着数据规模和自动化技术的发展,知识图谱的规模已经得到了飞跃式的增长,但是其距离知识完备这一理想目标仍相距甚远。为了实现这一目标,链接预测任务应运而生,其旨在利用知识图谱中已有的知识推断缺失的事实,从而对知识图谱进行完善和补全。研究者们针对该任务已经做出了许多研究,近两年来基于表示学习的方法因其效率高能力强的优点获得了国内外学者的广泛关注。经过调研发现,虽然知识图谱嵌入模型已经取得了不错的成绩,但现有模型大多忽视了实体本身的连通差异且在注意力分配策略实现上较为粗糙,导致网络聚合邻域信息的能力和效率均有较大的局限,模型预测能力较差。针对上述问题,本文在端到端的结构感知卷积网络模型(End-to-End StructureAware Convolutional Networks for Knowledge Base Completion,SACN)的基础上做出改进,针对链接预测任务提出了基于实体连通差异和目标导向的注意力网络(EntityConnectivity-Difference-Aware and Target-Oriented Attention Network for Link Prediction,ETAN)。ETAN通过对实体连通分布进行统计并将知识图谱中的实体分为三类:偏僻实体、普通实体以及过饱和实体。对于偏僻实体使用规则进行邻域补全,对于过饱和实体则基于注意力进行邻域排序截断以完善实体邻域结构。此外,通过对邻域实体和邻域关系的交互作用进行建模,为中心实体的嵌入学习提供更多有效的信息。最后,将链接预测任务的预测链接融入到邻域交互作用体中,实现了完整的目标导向注意力分配策略,为网络高效高质地聚合邻域信息提供了强有力的支撑。本文在标准的FB15K-237和WN18RR数据集上进行了对比实验并以链接预测任务的通用评估指标对模型能力进行了评估。相对于基础模型SACN而言,ETAN在MRR和Hit@N等指标上均有极大的提升,且在现有用于链接预测任务的知识图谱嵌入模型中达到了较高水准。此外,我们也针对模型的每一个核心组件进行了消融实验,进一步分析验证了各个组件对模型能力的影响以及重要程度。

基于动态知识图谱的推荐算法研究

这是一篇关于知识图谱,推荐算法,注意力网络,邻域聚合,增量学习的论文, 主要内容为推荐系统是基于用户行为日志和兴趣等信息,并利用数据分析技术为用户提供服务的系统,已经得到了广泛应用。目前,利用知识图谱的优势来提高推荐的性能已成为了一个热门方向。其中,图神经网络(GNN)被广泛用于推荐算法中以更好地处理图数据,但目前基于GNN的推荐模型仍存在一些问题。首先,现有模型未能更细粒度地传播和聚合用户偏好和项目的邻域信息,也忽略了用户与未交互项目之间的潜在联系,难以获得更为准确的用户偏好与项目的特征向量表示,这将导致模型推荐效果不佳。其次,在动态推荐场景下,现有方法仅将新知识简单地嵌入知识图谱中,并将嵌入新知识后的知识图谱中的节点向量进行全量更新,导致模型的训练时间过长。针对以上问题,本文分别提出了新的知识图谱推荐模型与新的动态更新模型。全文主要工作如下:(1)现有方法存在未对用户偏好与项目进行更细粒度地建模以及忽略用户与未交互项目间潜在联系的问题。因此,本文提出了融合用户偏好与项目邻域信息的注意力推荐模型(PNGAT)以解决该问题。首先,该模型使用注意力网络对用户偏好进行独立传播及聚合,得到其向量表示。然后,通过计算未交互项目与用户偏好的相关程度,找出目标项目作为用户的潜在兴趣对象,同样对目标项目的邻域信息进行独立传播及聚合,得到其向量表示。最后,通过多跳及融合得到用户偏好和目标项目的特征向量,并输入深度神经网络得出预测评分。(2)现有方法存在将新知识简单地嵌入图谱以及对其进行全量更新所导致的动态更新效率不佳的问题。因此,本文提出了基于增量学习的动态知识图谱推荐模型(ILDGR)以解决该问题。首先,该模型根据重要性原则对知识图谱的局部旧知识进行采样回放,以解决增量更新过程中产生的遗忘问题。然后,将局部旧知识与新知识节点的嵌入向量进行初始化,并利用中心节点传播的方式更新局部节点的嵌入向量。最后,将更新后的嵌入向量输入PNGAT模型得到预测评分。(3)本文利用公开数据集进行实验分析,验证了所提模型的有效性。