7篇关于记忆网络的计算机毕业论文

今天分享的是关于记忆网络的7篇计算机毕业论文范文, 如果你的论文涉及到记忆网络等主题,本文能够帮助到你

基于深度学习的会话推荐算法研究

这是一篇关于推荐算法,上下文推荐,会话推荐,循环神经网络,记忆网络的论文, 主要内容为随着互联网的快速发展,海量的信息给人们带来便利的同时,也造成了“信息过载”的问题,个性化推荐系统被认为是解决信息过载问题的有效工具之一。推荐算法作为推荐系统的核心,对推荐效果有着决定性的影响。在许多在线推荐系统中,用户和系统之间的交互被组织成会话,会话指的是在一定的时间内发生的人与系统的交互序列。基于会话的推荐算法就是根据用户当前的交互序列对用户的下一个动作进行预测。基于会话的推荐算法与深度学习技术的结合取得了一系列成果,但是也存在一些不足,比如对深度学习模型融入上下文信息问题的探索还不够深入;比如在使用循环神经网络时,循环神经网络记忆能力有限且记忆存取不够灵活。这些问题在一定程度上影响了推荐算法的性能。本文针对以上问题进行了研究和探索,并提出一些改进措施,主要工作如下:(1)提出一种融合用户会话数据的上下文感知推荐算法,将上下文信息通过embedding的方式映射成低维实数向量特征,通过Add、Stack、MLP三种组合方式将低维向量特征融入到基于会话的循环神经网络推荐模型,设计了基于BPR的损失函数动态刻画会话序列中的用户偏好,以提升个性化推荐能力。设计实验探究对比了上下文信息的不同组合方式对推荐效果的影响。研究了在GRU单元的不同的阶段将上下文信息融入模型对推荐性能的影响。实验结果表明,本文提出的融合用户会话数据的上下文感知推荐算法在公开数据集上相比基线算法GRU4REC等算法,在召回率和MRR两个指标上都有明显的提升。(2)针对循环神经网络记忆能力有限且记忆的存取不够灵活等问题,提出结合记忆网络(Memory Network)的会话推荐算法。该算法设计了一个层次化的推荐模型,模型分为两层,分别是刻画当前会话兴趣的会话级别GRU模型和刻画用户长期兴趣的用户级别记忆网络模型。同时,为了记忆网络中的记忆向量的灵活存取,引入注意力机制,设计了相应的写入和读取模块。实验结果表明,该模型更能捕捉到用户的长期兴趣。在公开数据集上的实验证明,在会话个数为10相对于会话个数为5的性能提升对比中,本文所提算法HNUM在Recall和MRR的提升度上相对于基线算法HGRU都有4个百分点的增加。

基于异构图神经网络的推荐算法研究

这是一篇关于推荐系统,异构图神经网络,记忆网络的论文, 主要内容为随着信息设备的不断普及,互联网用户每天面临着快速增长的海量信息。作为缓解信息过载问题的关键技术,推荐系统受到越来越多研究人员的关注,目前已经被广泛地应用在各个场景当中,例如电子商务、社交网站、短视频平台。推荐系统的目标是根据已观测的用户行为信息,预测用户接下来感兴趣的项目。用户社交信息和项目领域知识信息作为丰富的额外特征数据,已经在很多研究中广泛应用,以改进用户和项目的表征学习,提升推荐系统性能,但截至目前,却鲜有同时将这两种信息引入到模型中的推荐方法。为此,本文提出了异构图记忆网络模型,这是一种基于异构图神经网络的推荐模型,能有效地将用户社交信息和项目领域知识信息引入到推荐模型当中。该模型包括以下三个模块:(1)异构图结点特征编码模块,该模块包含多层记忆增强的异质关系编码器以及消息融合函数,使用图神经网络编码器进行结点特征提取,最后再将各阶特征进行融合得到结点的嵌入向量;(2)用户嵌入重校准模块,该模块为用户加上一个社交关系修正项,以注入用户社交关系对项目的影响,使得最终推荐效果得到提升;(3)推荐预测模块,该模块使用用户重校准嵌入向量和项目嵌入向量得到偏好估计值,最终推荐结果由偏好程度最高的若干项目产生。在实验部分,本文在三个大规模真实数据集上,将异构图记忆网络与前沿算法进行丰富的对比实验,通过分析实验结果验证了所设计模型的合理性和有效性。

结合深度知识追踪算法的个性化试题推荐系统研究与实现

这是一篇关于深度学习,试题推荐,知识追踪,个性化教学,记忆网络的论文, 主要内容为由于人工智能的出现,政府部门与各个行业都在大力推进发展,以促进国家经济社会的发展和技术的进步。网络教育具有跨越空间的优越性,学习知识的方式也变得更加丰富和多层次,精准化个性化的教学方式,也随着人们对学生教育需求的升级提到意识层面。然而,由于传统方法往往忽略了学生实时的知识状态或者考虑学生之间的共性特征不充分,其推荐精确度尚有待提高。而深度学习模型在保证较高精度的情况下,通常缺乏可解释性。针对以上问题,本文提出了一种基于学生状态的深度知识追踪算法与基于知识概念预测的个性化试题推荐算法,并设计研发了一套结合深度知识追踪的个性化试题推荐系统,实验结果与分析表明本系统在推荐效果与精度等方面都取得了较优的效果。本文具体的研究内容如下:(1)提出了一种基于学生状态的深度知识追踪算法。该方法运用了记忆增强网络的思想,利用外部存储器用于存储长期记忆信息,设计用于存储学生知识状态的外部动态存储器矩阵,并且在更新动态矩阵时考虑到了学生的知识掌握现状。同时结合学生的认知过程与遗忘理论,进一步完善模型的遗忘机制。通过对比实验证明,该算法提高了知识追踪的效果,使深度知识追踪的过程更易理解。(2)提出了一种基于知识概念预测的个性化试题推荐算法。该方法采用长短期记忆网络(Long Short-Term Memory,LSTM),利用学生的历史回答记录顺序来预测知识概念覆盖率。引入基于学生状态的深度知识追踪算法预测学生知识概念掌握程度模块,实现了知识概念覆盖率与学生掌握程度的统一嵌入,即使在难度标签丢失或存在一定程度偏差的情况下,也可以确保推荐的题目符合所需的难度,特别考虑评估题目的Jaccard距离,以生成试题推荐列表,增加推荐题目的多样性。(3)开发了一套结合深度知识追踪的个性化试题推荐系统。针对中小学生的实际需求,设计了一套面向中小学智慧教育的个性化试题推荐系统,该系统根据学生的历史学习情况进行知识点与试题推荐,进而为每个学生量身定制个性化的题目推荐。实时评估学生的知识状态并在相关界面进行展示,使学生能够及时了解自己的学习进展。辅助教师把控教学进度,及时给有需要的学生提供相应的辅导。该套系统在学生个性化教育方面做了有益的探索。本文结合上述算法,克服了传统试题推荐系统推荐不准确与推荐结果冗余等缺点,并增加知识概念预测模块,提高了推荐精度。该系统既面向中小学学生提供个性化的学习服务,使学生能进行有效学习、自主查漏补缺。同时也为教师提供更详细的学生能力评估,进行精准教学。因此,本系统在中小学学校具有重要的研究意义与推广价值。

基于Freebase的英文命名实体识别链接的研究与实现

这是一篇关于命名实体识别,实体链接,Freebase,结构化自注意力机制,记忆网络的论文, 主要内容为随着互联网的不断发展,人们利用网络进行多种多样的沟通交流,网络上也出现越来越多的新闻、百科等非结构化的文本。对这些信息的处理和挖掘能够帮助人们更好的理解文本内容,掌握有价值的信息,加强人们之间有效的交流。命名实体识别和实体链接作为处理文本中实体相关的技术也因此受到国内外研究学者越来越广泛的关注。命名实体识别是识别文本中出现的人名、机构名、地名以及时间等特殊名词的一项任务。实体链接则是将这些文本中的实体链接到知识库中一个无歧义实体的过程。实体对文本内容的理解有很大的帮助,对信息抽取、自动问答、机器翻译等任务也有着重要作用。近年来,大规模知识库在自然语言处理中不断得到应用,知识图谱相关技术迅速发展,命名实体识别和实体链接技术作为构建和应用知识图谱的关键技术之一也得到不断发展。目前该任务面临的主要问题是文本中存在的实体具有多样性和歧义性。一个指称可以代表多个存在的实体,而一个实体也可以同时拥有多个名称。为了克服实体多样性和歧义性给命名实体识别和实体链接任务带来的困难,提出基于双向长短期记忆网络与条件随机场的命名实体识别方法和基于Freebase知识库的神经网络实体链接方法用于从指称的候选实体集合中选择出指称的链接实体。结合指称上下文和候选实体描述文本降低指称歧义性带来的影响。该方法在AIDA CoNLL-YAGO实体链接语料和TAC KBP-2017命名实体识别和实体链接评测语料上链接准确率分别达到88.2%和83.7%。基于长短期记忆网络和条件随机场的命名实体识别方法在CoNLL-2003语料上F1值达到0.91。对参数的可视化分析也验证方法中所应用的结构化自注意力机制和记忆网络能够从指称上下文和实体描述文本中挖掘出有利于实体链接的关键信息。论文的主要贡献如下:1.提出基于双向长短期记忆网络和条件随机场的命名实体识别方法用于识别文本中的指称。该方法利用长短期记忆网络自动发现文本中的有效特征,并结合条件随机场算法获得序列标注的最优解。2.提出基于结构化自注意力机制和记忆网络的实体链接方法。该方法利用结构化自注意力机制获取指称上下文和实体描述文本中的有效信息,并利用记忆网络获取指称与指称上下文之间以及实体与实体描述文本之间的交互信息。3.构建基于Freebase知识库的英文命名实体识别和实体链接系统,实现对文本中指称的识别,并将其链接到知识库中的特定实体上。4.在两个标准数据集中进行相关实验。实验结果表明所提方法和目前先进的神经网络实体链接方法具有可比性。通过对参数权重的可视化分析,验证方法从指称上下文和实体描述文本中挖掘出的信息具有可解释性。

面向复杂事实问答的知识元模体表示及记忆网络算法研究

这是一篇关于知识库问答,知识元模体,记忆网络,嵌入的论文, 主要内容为随着智能化时代的到来,智能问答逐渐成为了传统信息访问方式的一种重要补充。近年来,基于知识库的问答系统(KBQA)在自然语言处理领域中吸引了大量研究者的兴趣,并得到了广泛的关注。随着问答系统的发展与创新,人们希望能利用大规模的知识库来自动回答与多个事实相关、更为复杂的问题,简称为复杂事实性问题。这类问题由于问题的实体涉及多个,并与多个事实相关联,且需要多次跳转推理,因此处理起来难度更大。即使基于知识图谱的问答系统领域的研究已经取得了显著的进展,然而现有的问答系统由于自然语言和知识图谱的复杂性和多样性,在处理复杂事实性问答中也很难捕获其隐含的复杂关系和特征。因此,如何设计一个能够回答丰富的复杂事实性题型问答系统成为当前重要且现实的问题。本文主要聚焦在复杂事实性问题上,而复杂事实性问题主要可以分为路径问题与联合问题。回答复杂事实性问题主要面临两个难点:首先,这些问题通常涉及多个实体,这带来了初始状态的不确定性,导致难以定位问题的初始状态;其次,一些复杂的事实性问题需要知识库中两个(或更多)相关子路径的交叉,往往需要反复探索路径推理、匹配和组合。这使得候选子路径的组合过多阻碍了对正确答案的有效推理。为了解决上述的问题,本论文引入了知识元模体以及面向复杂事实性问题的系列方法。论文的主要工作和贡献是:(1)与传统的基于路径的匹配和推理策略不同,本文引入了知识元模体作为语义表示、推理和匹配的基本成分,知识元模体有以下两个优点:(1)多个实体可以被知识元模体所包含,(2)子路径的交集可以自然地被逐个知识元模体的推理所编码。换句话说,知识元模体涉及特定的子结构,能够编码更高级别的语义。在知识表示学习Trans E模型的启发下,本文提出了一个灵活的基于trans E的嵌入模块,以结合实体关系内容和结构来构建知识元模体。(2)本文提出了一个基于知识元模体表示的有监督问答方法,用于回答复杂的事实性问题,其主要工作是:针对给出的自然语言问题,并根据其问题中的实体的关系内容与结构,利用基于trans E的嵌入模块构建成知识元模体并将其表示。在此基础上,通过与问题的相似度计算,筛选与问题相符的知识元模体,同时该模型还包含了一个学习框架通过正负样本的学习来更新其参数,从而有效的进行匹配回答。但是该有监督模型未充分利用知识元模体推理能力的问题,本文基于此模型做出了优化并提出了一个基于知识元模体表示的记忆网络(Motif-based Memory Networks),该模型扩展了一个记忆网络用于知识推理和匹配,以促进知识元模体表示和自然语言问题的匹配后进行联合学习,最后其匹配的答案将作为问题的答案。(3)通过Path Question,World Cup2014,SPACES-C这三个数据集的实验的结果表明,与现有的相关知识图谱问答方法相比,本论文提出的算法可以切实有效地回答复杂事实性问题。