基于深度学习的多行为商品推荐模型研究

这是一篇关于多任务学习,多行为推荐,深度Q网络,深度学习,图神经网络的论文, 主要内容为随着电商市场规模的不断扩大,商品数量增长迅速,如何高效获取符合需求的商品成为电商商家和用户最关心的问题。商品推荐系统能自发寻找最符合用户偏好的商品,是解决电商平台“信息过载”问题的重要方法。随着用户需求与推荐模型结合更紧密,推荐性能也面临更高要求。如何进一步提升系统推荐准确度是学术界和工业界持续关注的问题。现有的基于深度学习的推荐算法大多只考虑单一类型的用户行为,忽略了用户浏览商品时可能发生的多种行为类型,如查看、添加购物车、购买等。这些不同行为包含大量有益于推荐的用户偏好信息。本文针对商品推荐中存在的多种交互行为数据设计推荐模型,主要包括三个工作:(1)为了细粒度考虑各种类型用户行为间的依赖关系,本文提出了一种将行为依赖融入多任务学习框架的多行为商品推荐模型,简称IBDM。IBDM模型为每种行为类型学习单独的交互函数,并根据实际情况引入门控机制来自适应的学习行为间的关系,同时为每种行为引入塔结构来输出用户在该行为下的预测值。在两个真实世界数据集上进行实验以验证IBDM模型的推荐效果,与经典的推荐模型进行对比,IBDM模型在HR和NDCG指标上均有提升。(2)为了更好的学习用户商品间的高阶交互信息,本文提出了一种基于关系图卷积网络的多行为商品推荐模型,简称RGCMB。RGCMB模型引入关系感知图卷积传播层,利用组合运算融合节点(用户节点和商品节点)与行为的特征表示,再结合图卷积网络实现用户商品多种交互行为间的高阶连通性。通过与其它几个多行为推荐方法进行对比,RGCMB模型在HR和NDCG指标上有明显的改善。(3)为了考虑用户的动态偏好,本文提出了一种基于深度Q网络融合长短期偏好的多行为商品推荐模型,简称ILSPDQN。ILSPDQN模型使用自注意力块从用户近期交互序列中捕获用户短期偏好表示,从用户属性和交互过的商品中捕获用户长期偏好表示,然后融合长短期偏好表示生成动态偏好,通过优化最大累计期望奖励值的方法来学习模型并给出推荐结果。在JData数据集上的实验表明,ILSPDQN模型优于其它的对比模型。

基于深度学习的序列推荐算法研究

这是一篇关于序列推荐系统,元学习,冷启动,多行为推荐,注意力机制,图神经网络的论文, 主要内容为随着互联网、社交网络和移动应用等新型数据形式不断涌现,序列推荐算法也得到了越来越多的关注。序列推荐算法可以建模用户历史交互序列,发掘用户的偏好和兴趣特征,提供个性化的推荐内容。当有冷启动用户加入时,因为缺乏足够的历史交互数据,序列推荐方法无法准确建模用户偏好,即序列推荐的冷启动问题。现有的解决方案包括基于内容的推荐、基于流行度的推荐、基于协同过滤的推荐等方法。其中,基于内容的推荐可以利用商品特征信息来推荐相似的商品;基于流行度的推荐则根据一定的规则,将热门商品推荐给用户;基于协同过滤的推荐算法通过用户的历史交互与其他用户的相似性进行推荐。此外,也有一些新颖的解决方案,例如强化学习、深度学习等方法。这些方法可以通过学习用户的反馈信息,从而不断提高推荐效果。不过,这些方法通常需要更多的数据和计算资源,且实现难度也更高。近期,研究者利用元学习在少样本学习中的优势,将冷启动用户推荐视为一个新任务,利用训练任务中得到的先验经验,基于模型快速适应新任务产生符合用户偏好的推荐列表。本文基于元学习,结合图神经网络,设计解决冷启动问题的模型。主要工作总结如下:(1)由于许多基于元学习的方法在训练期间需要辅助信息或侧重于挖掘序列内物品的相关性并以静态方式建模用户兴趣,忽略了序列间物品相关性的影响。当辅助信息缺失或用户偏好短期内快速变化时,这些方法的性能会受到影响。为此,本文提出了面向冷启动用户的元学习与图转移学习序列推荐模型(meta graph transitional learning,Meta GTL)。它基于用户交互序列构建为用户-物品二部图,利用图神经网络建模序列间物品的高阶关系。为了动态建模用户的兴趣,设计了序列编码模块捕获序列内物品间的转移关系,为每个用户生成特定的偏好表示。为了适应冷启动推荐任务,使用元学习方法对模型进行训练,从交互数据丰富的用户中学习常见的行为模式来优化初始模型参数,使模型通过一次或几次梯度下降就可以准确建模冷启动用户的兴趣偏好,为其产生个性化推荐列表。在三个公开数据集上的大量实验表明,本文提出的方法在用户冷启动场景下有更高的预测精度。(2)在冷启动推荐任务中,购买行为数据是非常稀疏的,一个仅基于购买行为构建推荐模型很难为新用户提供高质量的推荐内容。如何在建模时充分利用其他容易发生的行为,比如点击或浏览,去丰富用户、物品特征信息并提供高质量推荐内容,是解决冷启动问题的有效途径之一。为此,本文提出了基于元学习的多行为序列推荐模型(meta multi-behavior recommendation,Meta MBR)。该模型将初始嵌入定义为基本特征,从每个行为中学习到的特征定义为行为特征。使用图卷积网络挖掘物品的行为特征信息。为了捕获每个用户的行为特征,构造了用户行为表示层,结合多行为注意力机制,在动态建模用户交互序列的同时利用行为特征信息为冷启动用户生成偏好表示。本文选择使用元学习方法对模型进行训练。在三个公开数据集上的大量实验表明,通过将多行为信息与元学习结合更够提高模型在用户冷启动场景下的性能。(3)尽管元学习方法能够帮助模型克服冷启动问题,但现有很多基于元学习的模型算法无法与在线平台已使用的推荐算法相结合。为此,本文设计了基于元学习方法的冷启动通用框架(meta cold sequential recommendation,MCSR)。其包含图嵌入器和元训练器。针对数据稀疏问题,该方法将用户交互构建成图,然后通过邻居聚合得到用户、物品嵌入的特征,为现有的序列推荐算法提供准确的用户、物品嵌入表示。在模型训练和更新时借助元训练器在训练任务中学习到的先验知识对框架参数进行更新,使现有的推荐算法能够快速更新并适应冷启动推荐任务。通过实验证明,本文提出的框架能够帮助序列推荐算法提高推荐精度并适应冷启动推荐任务。

基于自监督学习和图卷积神经网络的多行为推荐算法研究

这是一篇关于推荐系统,图学习,图卷积神经网络,自监督学习,多行为推荐的论文, 主要内容为随着互联网技术的迅猛发展和信息化建设的不断推进,信息泛滥、过载问题也愈发严重,为了在海量数据中挖掘用户可能感性兴趣的内容,推荐系统应运而生并在业界和学术界得到广泛的关注。推荐系统数据本质上就具有图结构,借助于深度学习在图结构数据上强大的特征提取和表征学习能力,探索基于图学习的推荐算法成为当下研究热点。目前,推荐系统仍面临数据稀疏和冷启动两大挑战,多行为推荐以存在广泛且数据量丰富的隐式反馈数据建模,已被证明可以有效应对以上挑战。但现有的多行为推荐算法大多存在以下问题:忽略用户行为隐含的语义,导致不能全面捕获多行为交互特征;忽略多行为隐式反馈数据存在的大量噪声标签,影响模型的泛化性能和推荐精度。针对上述情况,本文提出了一种融合自监督学习强化的多任务多行为推荐算法。首先,设计了多行为交互特征提取机制,联合行为固有重要性和稀疏性学习行为影响权重,再通过行为影响权重和项目类别属性感知行为隐含语义,该机制可以更为充分地提取行为特征;其次,构建基于行为特征的推荐监督任务,利用图卷积神经网络进行嵌入传播,挖掘多行为交互数据隐含的协同过滤信息;再次,构建自监督学习辅助任务来强化模型,通过多视图对比学习感知利于嵌入学习的局部结构,避免模型过度拟合噪声交互;最后,采用多目标损失优化策略进行多任务学习,获取更加准确的用户、项目嵌入用于推荐。本文在两个公共数据集上进行了性能对比、噪声鲁棒性等实验,实验结果证明了所提出模型的有效性和优越性。该论文有图26幅,表9个,参考文献56篇。

基于深度学习的序列推荐算法研究

这是一篇关于序列推荐系统,元学习,冷启动,多行为推荐,注意力机制,图神经网络的论文, 主要内容为随着互联网、社交网络和移动应用等新型数据形式不断涌现,序列推荐算法也得到了越来越多的关注。序列推荐算法可以建模用户历史交互序列,发掘用户的偏好和兴趣特征,提供个性化的推荐内容。当有冷启动用户加入时,因为缺乏足够的历史交互数据,序列推荐方法无法准确建模用户偏好,即序列推荐的冷启动问题。现有的解决方案包括基于内容的推荐、基于流行度的推荐、基于协同过滤的推荐等方法。其中,基于内容的推荐可以利用商品特征信息来推荐相似的商品;基于流行度的推荐则根据一定的规则,将热门商品推荐给用户;基于协同过滤的推荐算法通过用户的历史交互与其他用户的相似性进行推荐。此外,也有一些新颖的解决方案,例如强化学习、深度学习等方法。这些方法可以通过学习用户的反馈信息,从而不断提高推荐效果。不过,这些方法通常需要更多的数据和计算资源,且实现难度也更高。近期,研究者利用元学习在少样本学习中的优势,将冷启动用户推荐视为一个新任务,利用训练任务中得到的先验经验,基于模型快速适应新任务产生符合用户偏好的推荐列表。本文基于元学习,结合图神经网络,设计解决冷启动问题的模型。主要工作总结如下:(1)由于许多基于元学习的方法在训练期间需要辅助信息或侧重于挖掘序列内物品的相关性并以静态方式建模用户兴趣,忽略了序列间物品相关性的影响。当辅助信息缺失或用户偏好短期内快速变化时,这些方法的性能会受到影响。为此,本文提出了面向冷启动用户的元学习与图转移学习序列推荐模型(meta graph transitional learning,Meta GTL)。它基于用户交互序列构建为用户-物品二部图,利用图神经网络建模序列间物品的高阶关系。为了动态建模用户的兴趣,设计了序列编码模块捕获序列内物品间的转移关系,为每个用户生成特定的偏好表示。为了适应冷启动推荐任务,使用元学习方法对模型进行训练,从交互数据丰富的用户中学习常见的行为模式来优化初始模型参数,使模型通过一次或几次梯度下降就可以准确建模冷启动用户的兴趣偏好,为其产生个性化推荐列表。在三个公开数据集上的大量实验表明,本文提出的方法在用户冷启动场景下有更高的预测精度。(2)在冷启动推荐任务中,购买行为数据是非常稀疏的,一个仅基于购买行为构建推荐模型很难为新用户提供高质量的推荐内容。如何在建模时充分利用其他容易发生的行为,比如点击或浏览,去丰富用户、物品特征信息并提供高质量推荐内容,是解决冷启动问题的有效途径之一。为此,本文提出了基于元学习的多行为序列推荐模型(meta multi-behavior recommendation,Meta MBR)。该模型将初始嵌入定义为基本特征,从每个行为中学习到的特征定义为行为特征。使用图卷积网络挖掘物品的行为特征信息。为了捕获每个用户的行为特征,构造了用户行为表示层,结合多行为注意力机制,在动态建模用户交互序列的同时利用行为特征信息为冷启动用户生成偏好表示。本文选择使用元学习方法对模型进行训练。在三个公开数据集上的大量实验表明,通过将多行为信息与元学习结合更够提高模型在用户冷启动场景下的性能。(3)尽管元学习方法能够帮助模型克服冷启动问题,但现有很多基于元学习的模型算法无法与在线平台已使用的推荐算法相结合。为此,本文设计了基于元学习方法的冷启动通用框架(meta cold sequential recommendation,MCSR)。其包含图嵌入器和元训练器。针对数据稀疏问题,该方法将用户交互构建成图,然后通过邻居聚合得到用户、物品嵌入的特征,为现有的序列推荐算法提供准确的用户、物品嵌入表示。在模型训练和更新时借助元训练器在训练任务中学习到的先验知识对框架参数进行更新,使现有的推荐算法能够快速更新并适应冷启动推荐任务。通过实验证明,本文提出的框架能够帮助序列推荐算法提高推荐精度并适应冷启动推荐任务。

基于深度学习的序列推荐算法研究

这是一篇关于序列推荐系统,元学习,冷启动,多行为推荐,注意力机制,图神经网络的论文, 主要内容为随着互联网、社交网络和移动应用等新型数据形式不断涌现,序列推荐算法也得到了越来越多的关注。序列推荐算法可以建模用户历史交互序列,发掘用户的偏好和兴趣特征,提供个性化的推荐内容。当有冷启动用户加入时,因为缺乏足够的历史交互数据,序列推荐方法无法准确建模用户偏好,即序列推荐的冷启动问题。现有的解决方案包括基于内容的推荐、基于流行度的推荐、基于协同过滤的推荐等方法。其中,基于内容的推荐可以利用商品特征信息来推荐相似的商品;基于流行度的推荐则根据一定的规则,将热门商品推荐给用户;基于协同过滤的推荐算法通过用户的历史交互与其他用户的相似性进行推荐。此外,也有一些新颖的解决方案,例如强化学习、深度学习等方法。这些方法可以通过学习用户的反馈信息,从而不断提高推荐效果。不过,这些方法通常需要更多的数据和计算资源,且实现难度也更高。近期,研究者利用元学习在少样本学习中的优势,将冷启动用户推荐视为一个新任务,利用训练任务中得到的先验经验,基于模型快速适应新任务产生符合用户偏好的推荐列表。本文基于元学习,结合图神经网络,设计解决冷启动问题的模型。主要工作总结如下:(1)由于许多基于元学习的方法在训练期间需要辅助信息或侧重于挖掘序列内物品的相关性并以静态方式建模用户兴趣,忽略了序列间物品相关性的影响。当辅助信息缺失或用户偏好短期内快速变化时,这些方法的性能会受到影响。为此,本文提出了面向冷启动用户的元学习与图转移学习序列推荐模型(meta graph transitional learning,Meta GTL)。它基于用户交互序列构建为用户-物品二部图,利用图神经网络建模序列间物品的高阶关系。为了动态建模用户的兴趣,设计了序列编码模块捕获序列内物品间的转移关系,为每个用户生成特定的偏好表示。为了适应冷启动推荐任务,使用元学习方法对模型进行训练,从交互数据丰富的用户中学习常见的行为模式来优化初始模型参数,使模型通过一次或几次梯度下降就可以准确建模冷启动用户的兴趣偏好,为其产生个性化推荐列表。在三个公开数据集上的大量实验表明,本文提出的方法在用户冷启动场景下有更高的预测精度。(2)在冷启动推荐任务中,购买行为数据是非常稀疏的,一个仅基于购买行为构建推荐模型很难为新用户提供高质量的推荐内容。如何在建模时充分利用其他容易发生的行为,比如点击或浏览,去丰富用户、物品特征信息并提供高质量推荐内容,是解决冷启动问题的有效途径之一。为此,本文提出了基于元学习的多行为序列推荐模型(meta multi-behavior recommendation,Meta MBR)。该模型将初始嵌入定义为基本特征,从每个行为中学习到的特征定义为行为特征。使用图卷积网络挖掘物品的行为特征信息。为了捕获每个用户的行为特征,构造了用户行为表示层,结合多行为注意力机制,在动态建模用户交互序列的同时利用行为特征信息为冷启动用户生成偏好表示。本文选择使用元学习方法对模型进行训练。在三个公开数据集上的大量实验表明,通过将多行为信息与元学习结合更够提高模型在用户冷启动场景下的性能。(3)尽管元学习方法能够帮助模型克服冷启动问题,但现有很多基于元学习的模型算法无法与在线平台已使用的推荐算法相结合。为此,本文设计了基于元学习方法的冷启动通用框架(meta cold sequential recommendation,MCSR)。其包含图嵌入器和元训练器。针对数据稀疏问题,该方法将用户交互构建成图,然后通过邻居聚合得到用户、物品嵌入的特征,为现有的序列推荐算法提供准确的用户、物品嵌入表示。在模型训练和更新时借助元训练器在训练任务中学习到的先验知识对框架参数进行更新,使现有的推荐算法能够快速更新并适应冷启动推荐任务。通过实验证明,本文提出的框架能够帮助序列推荐算法提高推荐精度并适应冷启动推荐任务。

针对稀疏交互数据的多行为商品推荐系统研究

这是一篇关于稀疏数据,多行为推荐,图网络,层级协同系统的论文, 主要内容为在互联网技术急速发展的现代社会中,用户主要关注如何从大量信息中找到自己感兴趣的部分,而消费平台则需要让自己生产的信息脱颖而出进而受到广大用户的关注。对于电商平台而言,用户的购买行为直接决定其总体收益。为了提升用户留存以及商家入驻数,平台可以通过推荐系统建立用户与信息之间的关联关系,将用户的历史交互数据作为媒介,有策略地让用户主动或被动地选择对自己有价值的商品,从而推动平台的更新迭代以及用户的深度消费。在实际场景中,冷启动与样本数据的稀疏性会对推荐系统的效果产生负面影响。为了解决这个问题,本文的主要工作为:1)依托电商推荐背景,设计并构建了名为增强融合转换图网络即IATG的多行为推荐模型。通过融入用户与商品之间除购买行为外其它类型的行为特征来缓解目标行为数据的稀疏性带来的负面影响,该模型对用户在目标行为模式下的交互商品做出预测,获取推荐列表。同时将IATG与多个基准模型进行对比,并从各方面对模型结构与设计理念的合理性做出了解释。实验结果表明,相较次优基准,IATG在两种评测指标上平均获得了 4.5%的性能提升。2)实现了基于层级协同的多行为商品推荐系统,以IATG为核心,结合各对象元素的原始信息与特征语料,从系统层面设计了线下训练与线上推理环节,并对各级模块进行了性能方面的测试。经过验证,该系统实现了从客户端发起请求到服务端返回商品推荐列表的整体流程,在稀疏交互数据的环境下具有良好的推荐效果与可应用性。

基于语义引导的多场景化推荐系统

这是一篇关于多场景推荐,多行为推荐,超图神经网络,对比学习,数据去噪的论文, 主要内容为互联网的迅速发展给用户生活提供了丰富多样的信息内容,但同时也让用户埋没在了海量信息数据中,无法从中快速且精准的找到自己兴趣点。为了缓解信息过载问题,研究者们设计了一系列智能化推荐系统,帮助用户在海量信息中找到自己的兴趣点。然而,现有推荐系统技术在从用户的历史交互数据中挖掘用户的兴趣偏好时,忽略了用户与商品产生交互时用户所处的时间、地点、天气等可能影响用户偏好的背景因素和用户行为的多样性,且疏忽了用户历史行为交互数据中存在噪声和偏差问题,从而导致对用户的偏好学习不全面、与用户真实偏好存在偏差,进而影响推荐效果。近些年,各大电商平台为了满足用户在不同情形下的推荐需求,引入了“场景”的概念来为用户的偏好推断提供更细粒度的指导。场景是一系列具有语义信息的场景因素的组合,如时间、地点、用户不同类型的交互行为等场景因素的组合,这样的组合通常能够表示用户在某些情形下的特定意图。为进一步挖掘用户在不同场景中的推荐需求,并从用户多行为隐式反馈数据中挖掘用户的真实意图,给用户提供准确高效的个性化推荐服务,本文从场景的语义信息出发,围绕场景的标签语义信息和用户在场景中的多行为语义信息展开研究,并分别在多场景推荐任务和多行为推荐任务中提出了基于场景标签语义联系的多场景推荐系统模型(Semantic-guided Hypergraph Neural Network,SHNN)和基于用户多行为语义对齐的多场景推荐系统框架(Multi-Behavior Alignment,MBA)。SHNN基于大规模自然语言预训练模型,利用场景标签语义信息构建了场景之间的语义联系,并通过超图卷积网络在场景间跨场景迁移用户偏好,同时设计了自监督任务来缓解场景间数据不平衡带来的表示不充分的问题。MBA基于Kullback-Leibler divergence(KL散度)对齐用户不同行为下的语义信息,通过使用多种类型的用户行为数据推断出用户的真实偏好,在执行数据去噪的同时,在用户不同行为偏好与用户真实偏好之间实现有效的知识迁移。在多场景推荐任务上,由于相关数据集匮乏,本文在中国电商平台中收集了大规模多场景数据集并进行了大量实验分析。在多行为推荐任务上,本文使用两个公开的基准数据集和本文在中国电商平台中收集的大规模多行为数据集进行了大量实验分析。与现有方法相比,SHNN和MBA分别在多场景推荐任务和多行为推荐任务中有显著的效果提升。本文额外设计了相关的分析实验,以解释场景标签语义信息和用户多行为语义信息对于多场景推荐系统的影响。

基于多行为交互数据的推荐系统设计

这是一篇关于推荐系统,图神经网络,深度学习,多行为推荐的论文, 主要内容为随着信息技术迅速发展以及网络服务的普及,数据规模实现井喷式发展,社会逐步进入了信息化的大数据时代。作为解决信息过载的重要方法,推荐系统得到了迅速地发展,同时也在人类生产、生活的各个方面发挥着重要的作用。多行为推荐系统作为推荐系统的一个分支,虽然起步较晚,但是由于多行为数据的丰富性及应用场景的广泛性,近些年来多行为推荐系统也得到了社会各界人士的青睐。目前多行为推荐系统在如何合理利用行为之间多等级偏好信息,如何考虑项目种类信息以及如何借鉴相似用户的偏好信息等方面都有很大的提升空间。本文主要从以上的问题出发,基于多交互行为的应用场景进行推荐系统的设计,主要包括三个工作,第一个是基于项目种类和图神经网络的多行为推荐系统,使用图神经网络来聚合用户-项目之间的多行为异质信息,并且考虑到了项目-项目之间的同质信息;第二个是在第一个工作的基础上,提出了基于相似用户偏好的多行为推荐系统,主要考虑了用户-用户之间的同质信息的影响关系;第三个工作是基于成对排序算法的推荐系统,在成对损失函数的负样本抽样过程中,按照多等级偏好和项目种类信息来抽取正负样本对,减少负样本的不确定性,提高推荐模型的准确度。在两个真实世界的数据集上的实验结果均表明,我们的模型都取得了很好的性能,在推荐准确度方面都要优于多行为推荐领域较为先进的算法。