基于广义矩阵分解的协同过滤推荐算法研究
这是一篇关于推荐系统,协同过滤,潜在因子模型,深度神经网络,联合模型的论文, 主要内容为全球信息社会的构建,信息过载问题的存在,使人们在需要时,以最符合要求的方式找到想要的东西的难度越来越大。人们往往有太多的选择可供选择,他们需要从无数的可能性中寻求帮助来探索和过滤他们的偏好。推荐系统的存在可以缩短人们获取信息的时耗,让正确的信息碰到正确的人。协同过滤作为推荐系统中非常重要的组成部分,传统的解决方式已经使它大放光彩。深度学习与深度学习相结合,能帮助推荐系统获取辅助信息的同时,更够用来学习用户物品间的交互关系。本论文在协同过滤的基础上主要做了以下研究工作:(1)总结了经典的启发式和基于模型的协同过滤算法。协同过滤算法是推荐算法中最为常用的算法之一,也是本论文研究的重点。本论文总结了经典的解决协同过滤问题的启发式算法和基于模型的经典协同过滤算法。(2)基于广义矩阵分解模型的个性化推荐算法。该算法用神经网络代替传统的潜在因子模型(Latent factor model,LFM),用嵌入层的用户和物品的低维表示模拟用户和物品的潜在因子向量,直接用来学习用户和物品之间的交互关系。本论文在传统广义矩阵分解模型的基础上引入嵌入层来学习用户和电影的潜在特征表示,给出了基于显式和隐式模型的理论推导。(3)基于广义矩阵分解模型的联合模型。该算法在改进的广义矩阵分解模型的基础上,从深度神经网络串行结构和并行结构的角度构建基于广义矩阵分解模型的联合模型,引入多层感知机模型学习用户物品之间潜在特征之间的高阶信息部分,广义矩阵分解模型表示的用户和物品间潜在因子特征间的线性交互成分与多层感知机模型学习的用户和电影潜在因子之间的高阶信息部分相组合,共同组成基于广义矩阵分解模型的联合模型。本文分别给出了基于串行结构和基于并行结构联合模型的理论推导,深度神经网络模型的搭建和训练,验证了为用户和电影潜在特征引入高阶信息的可行性和有效性。并且,在基于串行结构联合模型和基于并行结构联合模型的基础上,本文引入相似度矩阵和联合模型相结合的形式实现Top-N推荐。
面向文档语料的实体识别和实体关系抽取研究
这是一篇关于文档级模型,命名实体识别,实体关系抽取,联合模型的论文, 主要内容为近年来,知识图谱相关研究受到了广泛关注,相关成果已经在个性化推荐系统、智能问答系统等下游任务中得到应用。命名实体识别和实体关系抽取是知识图谱构建中的核心技术。一般情况下,知识图谱构建所用到的原始语料为文档集,然而当前关于实体识别和关系抽取的研究大多只关注面向句子输入的模型构建。文档中往往包含了更完整的实体属性和实体间关系表述,有利于提升实体识别和实体关系抽取的性能。因此,本文对文档级命名实体识别和关系抽取模型开展研究。主要研究内容包括:(1)提出了两种用于捕获文档全局实体知识的注意力机制,并以此构建文档级NER模型。两种注意力机制的目标是为了捕获文档中的远端实体知识,过滤无关的文档全局特征,优化NER模型效果。在实验中,本文对NER编码器、句子模型、文档模型和两种注意力机制的内部设置等因素进行了详细的验证和分析,最后,通过与相关文档级NER模型进行对比,验证了本模型的有效性。(2)提出了一种基于实体表示池化的文档级实体关系抽取模型,在模型中,提出了四种实体提及池化方法,用以提取文档中特定实体对的实体表示;在此基础上,引入了相对距离表示、实体类别等外部特征。通过实证研究对池化方法、外部特征等因素进行了验证和分析,并通过与其他的模型对比,证明了本模型的有效性。(3)基于参数共享策略,提出了一种面向文档语料的实体和关系联合抽取模型。通过设置对照实验,证明了联合模型在性能和效率方面均优于相同参数下的单任务模型。
面向文档语料的实体识别和实体关系抽取研究
这是一篇关于文档级模型,命名实体识别,实体关系抽取,联合模型的论文, 主要内容为近年来,知识图谱相关研究受到了广泛关注,相关成果已经在个性化推荐系统、智能问答系统等下游任务中得到应用。命名实体识别和实体关系抽取是知识图谱构建中的核心技术。一般情况下,知识图谱构建所用到的原始语料为文档集,然而当前关于实体识别和关系抽取的研究大多只关注面向句子输入的模型构建。文档中往往包含了更完整的实体属性和实体间关系表述,有利于提升实体识别和实体关系抽取的性能。因此,本文对文档级命名实体识别和关系抽取模型开展研究。主要研究内容包括:(1)提出了两种用于捕获文档全局实体知识的注意力机制,并以此构建文档级NER模型。两种注意力机制的目标是为了捕获文档中的远端实体知识,过滤无关的文档全局特征,优化NER模型效果。在实验中,本文对NER编码器、句子模型、文档模型和两种注意力机制的内部设置等因素进行了详细的验证和分析,最后,通过与相关文档级NER模型进行对比,验证了本模型的有效性。(2)提出了一种基于实体表示池化的文档级实体关系抽取模型,在模型中,提出了四种实体提及池化方法,用以提取文档中特定实体对的实体表示;在此基础上,引入了相对距离表示、实体类别等外部特征。通过实证研究对池化方法、外部特征等因素进行了验证和分析,并通过与其他的模型对比,证明了本模型的有效性。(3)基于参数共享策略,提出了一种面向文档语料的实体和关系联合抽取模型。通过设置对照实验,证明了联合模型在性能和效率方面均优于相同参数下的单任务模型。
基于计算机文献领域知识图谱的多轮问答系统
这是一篇关于问答系统,知识图谱,LSTM,联合模型,计算机文献的论文, 主要内容为问答系统可以实现从海量数据中快速、准确地获取所需信息。科技日新月异,深度学习的革命性发展给问答系统带来了长足的进步,发展出了一系列的自然语言处理技术。同时,知识图谱不断兴起,越来越多的知识存储其中。知识图谱已经成为问答系统答案的重要来源,受到业内人员的广泛关注。本文将研究方向聚焦于基于知识图谱的问答系统上。针对于传统的问答系统费时费力的弊端,本文设计并实现了基于计算机文献领域知识图谱的多轮问答系统。旨在提供一个用户友好型的问答系统帮助领域学者掌握计算机相关文献及基本信息,便于计算机辅助教学。主要工作内容如下:(1)实现了计算机文献领域知识图谱实体对齐。考虑到现存计算机文献领域知识繁多且没有统一的结构化数据,使用Sci KG作为基础知识图谱,通过相似度判断将DBLP数据集中的实体与之对齐并将实体属性融合,获得了一个领域文献知识内容丰富、含量更广的知识图谱,为后期构建问答系统提供基础数据支撑。(2)改进了LSTM(Long Short-Term Memory,长短期记忆)网络单元结构并基于此构建了意图识别与槽位填充联合模型。采用基于改进神经网络的多任务联合训练的建模方法,避免了级联任务的错误放大,优化问句理解任务、节省模型训练时间。在数据集ATIS、Snips以及本文构建的计算机文献领域问题数据集CSLQ上进行了多组对比实验,构建的模型在三类数据集上的实验结果均优于本文提到的其他模型。在CSQL上与基线模型相比,槽位填充的F1值提高了5.46%,意图识别任务的准确率提高了4%,语义意图准确率提高了6.19%。(3)制定多轮问答机制并设计与实现了基于知识图谱的领域问答系统。结合槽位填充任务设计了槽位模板、制定了槽位继承机制,在用户表述不清时,反问用户、进行交互,引导用户进行提问,提高用户体验性。最后,设计与实现了基于计算机文献领域知识图谱的多轮次问答系统并且进行了系统测试。
基于深度学习的实体共指消解研究
这是一篇关于神经网络,共指消解,全局推理,联合模型,知识库的论文, 主要内容为信息技术的不断发展,各个行业会产生海量的文本数据。与此同时,使用自然语言处理相关技术挖掘数据间的联系,潜在的语义关系愈发重要且充满挑战。共指消解任务是自然语言处理领域的重要研究内容,广泛应用于自动问答,文本摘要,阅读理解,知识图谱等领域,具有重要的学术研究价值和商业使用前景。目前,在深度学习框架下的共指消解研究正在成为主流的研究方法,主要集中在如何使用基于句中的词嵌入信息有效识别实体和实体之间的共指关系。解决共指消解问题仅考虑词级别的信息有局限性,还需考虑文档中上下文的信息以及句子间的逻辑关系。因此本文为提高共指消解模型精度,从以下两个方面对共指消解展开了研究。(1)融合神经网络与全局推理的实体共指消解。针对文本内实体信息复杂及指代信息具有不明确性且对于文档中上下文全局特征考虑不周的问题,为探索更有效的共指消解研究方法,提出融合神经网络与全局推理的实体共指消解算法。首先利用神经网络模型抽取出文档中的实体和其前指词,其次结合句子的上下文信息进行全局推理,将此推理结果加入到神经网络模型中,从而提高实体共指消解的精确度。全局推理是对共指链进行文档级的全局优化与推理,可以结合句子间内在联系进行推理,同时挖掘实体的上下文语义信息。模型在Onto Notes5.0数据集上进行的实体共指消解实验结果,证明了该方法的有效性。随后又通过使用Bert-base预训练模型替换端到端共指消解模型中联合词向量的方法进行实验,该结果又验证了本文方法在共指消解任务上的有效性。该方法能有效地提高共指消解性能和更好地理解文本语义信息,最终模型性能在CONLL评测标准下F1值达到74.76%。比较本模型与近几年其他的共指消解模型实验结果,验证了本方法的有效性。(2)融合知识库信息的命名实体识别与共指消解联合模型。命名实体识别与共指消解都取决于实体的相邻文本信息的学习,目前二者在单个独立任务方面取得了最先进的结果,实际上二者也保持了高度的联系。为了提高实体共指消解模型精度,我们考虑一个基于知识库的命名实体识别与共指消解联合模型。该联合模型是基于跨度的端到端的网络架构,以全局推理优化后的共指消解算法模型为基础,使用维基数据作为外部知识库,融合了背景知识库中的实体表示,将命名实体识别任务与共指消解任务联合起来,实验证明该方法有效提升了联合模型中的任务精度。并且设置消融实验,以探讨全局推理与知识库模块以及注意力机制对模型性能的影响。将F1值作为评价指标使用,实验结果表明,本文的方法具有较好的共指效果。
基于广义矩阵分解的协同过滤推荐算法研究
这是一篇关于推荐系统,协同过滤,潜在因子模型,深度神经网络,联合模型的论文, 主要内容为全球信息社会的构建,信息过载问题的存在,使人们在需要时,以最符合要求的方式找到想要的东西的难度越来越大。人们往往有太多的选择可供选择,他们需要从无数的可能性中寻求帮助来探索和过滤他们的偏好。推荐系统的存在可以缩短人们获取信息的时耗,让正确的信息碰到正确的人。协同过滤作为推荐系统中非常重要的组成部分,传统的解决方式已经使它大放光彩。深度学习与深度学习相结合,能帮助推荐系统获取辅助信息的同时,更够用来学习用户物品间的交互关系。本论文在协同过滤的基础上主要做了以下研究工作:(1)总结了经典的启发式和基于模型的协同过滤算法。协同过滤算法是推荐算法中最为常用的算法之一,也是本论文研究的重点。本论文总结了经典的解决协同过滤问题的启发式算法和基于模型的经典协同过滤算法。(2)基于广义矩阵分解模型的个性化推荐算法。该算法用神经网络代替传统的潜在因子模型(Latent factor model,LFM),用嵌入层的用户和物品的低维表示模拟用户和物品的潜在因子向量,直接用来学习用户和物品之间的交互关系。本论文在传统广义矩阵分解模型的基础上引入嵌入层来学习用户和电影的潜在特征表示,给出了基于显式和隐式模型的理论推导。(3)基于广义矩阵分解模型的联合模型。该算法在改进的广义矩阵分解模型的基础上,从深度神经网络串行结构和并行结构的角度构建基于广义矩阵分解模型的联合模型,引入多层感知机模型学习用户物品之间潜在特征之间的高阶信息部分,广义矩阵分解模型表示的用户和物品间潜在因子特征间的线性交互成分与多层感知机模型学习的用户和电影潜在因子之间的高阶信息部分相组合,共同组成基于广义矩阵分解模型的联合模型。本文分别给出了基于串行结构和基于并行结构联合模型的理论推导,深度神经网络模型的搭建和训练,验证了为用户和电影潜在特征引入高阶信息的可行性和有效性。并且,在基于串行结构联合模型和基于并行结构联合模型的基础上,本文引入相似度矩阵和联合模型相结合的形式实现Top-N推荐。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码工坊 ,原文地址:https://m.bishedaima.com/lunwen/48654.html