基于异构图神经网络的电商商品会话推荐系统的设计与实现
这是一篇关于基于会话的推荐系统,异构图神经网络,注意力机制,电子商务的论文, 主要内容为在大数据时代,海量的数据信息给用户造成了严重的“信息超载”问题,推荐系统是克服这个问题的主要方法之一。在电商领域,推荐系统通过挖掘用户与商品的历史交互行为捕捉用户兴趣偏好,为用户推荐其感兴趣的商品,并给电商平台创造更大的利润和价值。相对于传统的推荐方法只关注用户的长期静态偏好,基于会话的推荐方法将用户行为记录分解成粒度更小的会话,能够考虑用户行为的事务结构,并及时捕捉用户兴趣偏好的转变,从而为用户展示更加可靠的商品推荐结果。但是,以往基于会话的推荐方法的研究往往只关注会话数据集中商品间的顺序关系和转换关系,忽略了其它重要信息。因此本文提出了基于异构图神经网络的会话推荐算法,该算法将会话数据集构建成包含用户、商品、会话三种类型节点的异构图,使用异构图神经网络捕捉节点间复杂的依赖关系,并结合注意力机制强调当前会话的主要目的。为验证模型的性能,本文在两个开源的数据集上与目前比较流行的推荐方法进行比较。同时,本文设计并实现了一款前后端分离的电商商品推荐系统。与传统推荐系统不同的是,本系统以会话作为基本数据单元,并将基于异构图神经网络的会话推荐算法应用于该系统的推荐引擎,为用户提供基于当前会话的推荐服务。本系统的前端是基于Android技术开发的移动应用,后端采用Flask框架搭建Web服务,完成了用户管理、商品管理、会话管理、商品推荐以及可视化分析功能模块的开发。
基于异构图神经网络的电商商品会话推荐系统的设计与实现
这是一篇关于基于会话的推荐系统,异构图神经网络,注意力机制,电子商务的论文, 主要内容为在大数据时代,海量的数据信息给用户造成了严重的“信息超载”问题,推荐系统是克服这个问题的主要方法之一。在电商领域,推荐系统通过挖掘用户与商品的历史交互行为捕捉用户兴趣偏好,为用户推荐其感兴趣的商品,并给电商平台创造更大的利润和价值。相对于传统的推荐方法只关注用户的长期静态偏好,基于会话的推荐方法将用户行为记录分解成粒度更小的会话,能够考虑用户行为的事务结构,并及时捕捉用户兴趣偏好的转变,从而为用户展示更加可靠的商品推荐结果。但是,以往基于会话的推荐方法的研究往往只关注会话数据集中商品间的顺序关系和转换关系,忽略了其它重要信息。因此本文提出了基于异构图神经网络的会话推荐算法,该算法将会话数据集构建成包含用户、商品、会话三种类型节点的异构图,使用异构图神经网络捕捉节点间复杂的依赖关系,并结合注意力机制强调当前会话的主要目的。为验证模型的性能,本文在两个开源的数据集上与目前比较流行的推荐方法进行比较。同时,本文设计并实现了一款前后端分离的电商商品推荐系统。与传统推荐系统不同的是,本系统以会话作为基本数据单元,并将基于异构图神经网络的会话推荐算法应用于该系统的推荐引擎,为用户提供基于当前会话的推荐服务。本系统的前端是基于Android技术开发的移动应用,后端采用Flask框架搭建Web服务,完成了用户管理、商品管理、会话管理、商品推荐以及可视化分析功能模块的开发。
面向开放领域的实体关系抽取方法研究
这是一篇关于实体和关系联合抽取,异构图神经网络,开放集分类,深度聚类,持续学习的论文, 主要内容为随着互联网的高速发展,各种各样的事实、常识等知识日益增长。实体关系抽取作为抽取这些知识的核心技术,吸引了越来越多的研究者关注。现阶段实体关系抽取已经用于构建知识图谱、自动问答等诸多场景。然而,目前实体关系抽取技术大多在封闭域的数据上进行研究,并且在现实场景中关系事实的表达方式更加多样,实体关系可能是随时间而不断变化的,且新关系数量仍在不断增长。现有的方法很难解决开放领域下所面临的标注样本少、标注成本高、实体关系种类繁多等挑战。因此,本文面向开放领域,基于深度学习方法进行了实体和关系联合抽取、开放关系检测、开放关系发现以及持续关系学习的相关研究,主要研究内容如下:(1)提出了一种基于表示迭代融合的实体和关系联合抽取方法。现有的研究在提取实体之前很少考虑实体之间可能存在的关系信息,这可能会导致大多数提取的实体不能构成有效的三元组。本文提出将关系信息作为先验知识引入,用于减少对语义无关实体的提取,从而减少对三元组的冗余提取。首先,将句子中的单词和预定义的关系建模为图上的节点。然后,基于异构图神经网络的表示迭代融合将两种语义节点进行迭代语义融合,来获得更适合于关系抽取任务的节点表示。最后,模型利用最终更新的节点表示进行关系抽取。本文在两个公开的关系抽取基准数据集NYT和Web NLG上评估了提出的方法。实验结果表明,该方法能够有效地抽取实体关系三元组,并在两个数据集上优于最新的方法。此外,提出的方法也适用于关系分类任务,在Sem Eval 2010 task 8数据集上其性能比以往的方法有显著提升。(2)提出了一种基于动态阈值的开放关系检测方法。现有的关系分类方法在处理没有先验知识的未知关系时存在局限性。本文通过动态阈值检测未知关系的同时对已知关系进行准确分类,其中阈值由样本自身的特征生成。首先,模型根据输入的句子和注释的实体将其编码为关系表示向量。然后,通过拼接关系表示向量和关系嵌入,经过多层感知机输出的未归一化的概率。最后,通过拼接关系表示向量和零向量来生成动态阈值,未归一化的概率将与该阈值进行比较,使用该阈值确定输入实例是否属于未知类。此外,为了获得更好的动态阈值学习效果,采用流形混合和实体边界滑动两种负样本生成技术,使阈值学习对开放关系样本具有更强的鲁棒性。在两个基准数据集上进行的实验表明,该方法的性能明显优于目前的先进方法,并具有较强的鲁棒性。(3)提出了一种基于自加权损失的开放关系抽取方法。最近的开放关系抽取工作利用从标记数据中学习到的关系语义知识来聚类无标记的关系实例。然而,这些知识通常没有被充分利用,而且在转移到另一个领域时表现得很差。为此,本文提出一种半监督学习范式,该方法利用度量学习从标记数据中学习关系语义知识,然后通过对无标记数据的无监督学习来识别新的关系。首先,编码器是预先训练的,它利用标记数据中的关系实例来学习关系表示。此外,为了更好地学习关系表示,提出了一种基于对的自加权损失算法。利用自调整梯度作为权重挖掘信息实例。然后,将从无标签数据中抽取的关系表示用k-means聚类得到伪标签。最后,对伪标记数据交替进行聚类和度量学习。在三个基准数据集上进行的实验结果表明,Semi ORE可以显著超过最先进的基线,并在不同领域展示出强大的知识转移能力。(4)提出了一种基于一致性表示学习的持续关系抽取方法。现有的基于记忆的持续关系抽取方法往往会过度拟合记忆样本,并且在不平衡的数据集上表现不佳。本文在回放记忆时通过对比学习和知识蒸馏来保持关系嵌入的稳定性。具体地,首先使用基于临时记忆的监督对比学习来训练每个新任务,以便模型可以有效地学习关系表示。然后,对记忆库中的样本进行对比回放,通过记忆知识蒸馏使模型保留历史关系的知识,防止旧任务的灾难性遗忘。所提出的方法可以更好地学习一致性表示,以有效地减轻遗忘。在Few Rel和TACRED数据集上的实验结果表明,本文提出的方法明显优于最先进的基线,并且在不平衡的数据集上产生了很强的鲁棒性。实验证明本文提出的方法在相应的研究内容上均取得了较优的性能,通过解决开放域场景下存在的核心科学问题,促使基础研究成果走向应用。提出的研究方法可赋能构建知识图谱和知识驱动的自然语言处理,并为人机交互的深入研究奠定基础。在本文的最后也总结了在研究过程中遇到的问题以及对未来工作的展望。
面向开放领域的实体关系抽取方法研究
这是一篇关于实体和关系联合抽取,异构图神经网络,开放集分类,深度聚类,持续学习的论文, 主要内容为随着互联网的高速发展,各种各样的事实、常识等知识日益增长。实体关系抽取作为抽取这些知识的核心技术,吸引了越来越多的研究者关注。现阶段实体关系抽取已经用于构建知识图谱、自动问答等诸多场景。然而,目前实体关系抽取技术大多在封闭域的数据上进行研究,并且在现实场景中关系事实的表达方式更加多样,实体关系可能是随时间而不断变化的,且新关系数量仍在不断增长。现有的方法很难解决开放领域下所面临的标注样本少、标注成本高、实体关系种类繁多等挑战。因此,本文面向开放领域,基于深度学习方法进行了实体和关系联合抽取、开放关系检测、开放关系发现以及持续关系学习的相关研究,主要研究内容如下:(1)提出了一种基于表示迭代融合的实体和关系联合抽取方法。现有的研究在提取实体之前很少考虑实体之间可能存在的关系信息,这可能会导致大多数提取的实体不能构成有效的三元组。本文提出将关系信息作为先验知识引入,用于减少对语义无关实体的提取,从而减少对三元组的冗余提取。首先,将句子中的单词和预定义的关系建模为图上的节点。然后,基于异构图神经网络的表示迭代融合将两种语义节点进行迭代语义融合,来获得更适合于关系抽取任务的节点表示。最后,模型利用最终更新的节点表示进行关系抽取。本文在两个公开的关系抽取基准数据集NYT和Web NLG上评估了提出的方法。实验结果表明,该方法能够有效地抽取实体关系三元组,并在两个数据集上优于最新的方法。此外,提出的方法也适用于关系分类任务,在Sem Eval 2010 task 8数据集上其性能比以往的方法有显著提升。(2)提出了一种基于动态阈值的开放关系检测方法。现有的关系分类方法在处理没有先验知识的未知关系时存在局限性。本文通过动态阈值检测未知关系的同时对已知关系进行准确分类,其中阈值由样本自身的特征生成。首先,模型根据输入的句子和注释的实体将其编码为关系表示向量。然后,通过拼接关系表示向量和关系嵌入,经过多层感知机输出的未归一化的概率。最后,通过拼接关系表示向量和零向量来生成动态阈值,未归一化的概率将与该阈值进行比较,使用该阈值确定输入实例是否属于未知类。此外,为了获得更好的动态阈值学习效果,采用流形混合和实体边界滑动两种负样本生成技术,使阈值学习对开放关系样本具有更强的鲁棒性。在两个基准数据集上进行的实验表明,该方法的性能明显优于目前的先进方法,并具有较强的鲁棒性。(3)提出了一种基于自加权损失的开放关系抽取方法。最近的开放关系抽取工作利用从标记数据中学习到的关系语义知识来聚类无标记的关系实例。然而,这些知识通常没有被充分利用,而且在转移到另一个领域时表现得很差。为此,本文提出一种半监督学习范式,该方法利用度量学习从标记数据中学习关系语义知识,然后通过对无标记数据的无监督学习来识别新的关系。首先,编码器是预先训练的,它利用标记数据中的关系实例来学习关系表示。此外,为了更好地学习关系表示,提出了一种基于对的自加权损失算法。利用自调整梯度作为权重挖掘信息实例。然后,将从无标签数据中抽取的关系表示用k-means聚类得到伪标签。最后,对伪标记数据交替进行聚类和度量学习。在三个基准数据集上进行的实验结果表明,Semi ORE可以显著超过最先进的基线,并在不同领域展示出强大的知识转移能力。(4)提出了一种基于一致性表示学习的持续关系抽取方法。现有的基于记忆的持续关系抽取方法往往会过度拟合记忆样本,并且在不平衡的数据集上表现不佳。本文在回放记忆时通过对比学习和知识蒸馏来保持关系嵌入的稳定性。具体地,首先使用基于临时记忆的监督对比学习来训练每个新任务,以便模型可以有效地学习关系表示。然后,对记忆库中的样本进行对比回放,通过记忆知识蒸馏使模型保留历史关系的知识,防止旧任务的灾难性遗忘。所提出的方法可以更好地学习一致性表示,以有效地减轻遗忘。在Few Rel和TACRED数据集上的实验结果表明,本文提出的方法明显优于最先进的基线,并且在不平衡的数据集上产生了很强的鲁棒性。实验证明本文提出的方法在相应的研究内容上均取得了较优的性能,通过解决开放域场景下存在的核心科学问题,促使基础研究成果走向应用。提出的研究方法可赋能构建知识图谱和知识驱动的自然语言处理,并为人机交互的深入研究奠定基础。在本文的最后也总结了在研究过程中遇到的问题以及对未来工作的展望。
基于自监督学习和图神经网络的实体链接方法研究
这是一篇关于实体链接,语义向量召回,自监督学习,异构图神经网络的论文, 主要内容为知识图谱是一种将知识进行结构化存储的技术,被广泛应用于自然语言处理、推荐系统、信息检索等多个领域。本文研究的实体链接,任务目标是找到文本中已识别的指称与目标知识图谱中实体之间语义一致的映射,从而消除自然语言表达的多样性和歧义性,是知识图谱构建和应用过程中的关键环节。实体链接通常分为候选实体召回和候选实体排序两个阶段。候选实体召回常用的方法依赖于实体别名列表,而别名列表的构建和优化需要耗费大量的人力和时间,且难以在不同领域之间迁移。而对于候选实体排序,现有的方法存在如下问题:1).基于预训练模型的候选实体排序方法,使用的预训练任务与实体链接任务之间存在差异,无法准确学习指称特征与实体特征之间关联;2).基于图表示的候选实体排序方法,未能准确地对文档中的文本、指称以及候选实体之间关系进行建模。本文针对这些问题和挑战进行了以下研究:(1)候选实体召回方法研究。针对候选实体名称的多样性,分别对基于字符串匹配的方法和基于语义向量检索的方法进行研究。候选实体一些名称通常都具有相同的前缀或后缀,根据这一特点,本文提出使用字典树构建实体别名索引进行前后缀匹配的方法,以较少的额外计算代价取得召回率的提升。本文提出基于预训练模型对实体进行语义编码,然后通过语义向量近似检索完成候选实体召回的方法。实验表明,实体缺少别名列表时使用语义向量检索作为字符串匹配方法的补充可以进一步提升候选实体召回的效果。(2)基于自监督学习的候选实体排序方法研究。在候选实体排序阶段,现有方法使用预训练模型学习指称上下文和候选实体特征之间的语义关联,而预训练任务与实体链接任务存在明显差异;为了消除这种差异的影响,本文提出基于自监督学习的候选实体排序方法,利用现有的知识图谱构建实体链接相关的判别式自监督学习任务。此外,使用对抗训练及多任务学习等方法进一步提升模型的泛化性。实验表明该方法能提升实体链接的准确率,且训练数据越少提升越明显。(3)基于图神经网络的候选实体排序方法研究。当一个文档中存在多个指称时,候选实体排序阶段难以准确建模文档中的所有文本、指称以及候选实体之间的关系,针对这一问题,提出使用实体链接有监督和自监督任务学习图结点的初始化表示,并利用异构图神经网络模型对结点关系进行编码的方法。实验表明,该方法相较于仅使用局部上下文语义特征或同构图神经网络等方法能取得更好的效果。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码导航 ，原文地址：https://m.bishedaima.com/lunwen/49176.html
