基于Inception的卷积序列推荐模型研究

这是一篇关于序列推荐,卷积神经网络,用户偏好,Inception网络的论文, 主要内容为序列推荐是推荐系统领域近几年来新兴起的一个研究热点,与传统的推荐系统利用用户的长期兴趣偏好进行推荐不同,序列推荐考虑到用户的兴趣会随着时间的变化而发生改变,依靠用户与项目交互而产生的序列信息动态地构建用户的兴趣偏好,可以更为精确的完成对用户的推荐任务。目前,提取用户行为序列信息的方法有很多种,最为新颖的一种是在时间和潜在空间中将用户的行为序列信息嵌入进一幅“图像”中,利用卷积神经网络中的卷积滤波器提取其中的局部特征,但是,这种方法存在一定问题,现有的卷积网络要么不能很好地将序列信息提取出来,要么容易陷入过拟合。为此,借鉴了Inception网络的设计思想,构建了基于Inception的卷积序列推荐模型。该推荐模型通过设立动态卷积层和静态卷积层两种不同的卷积网络层,更加全面地对提取用户的短期兴趣偏好,并且将用户嵌入矩阵作为用户的长期兴趣偏好嵌入到卷积层的输出中,构建完整的用户兴趣偏好,基于此完成对用户的推荐。通过在三种公开数据集MovieLens 1M,Gowalla,Steam上分别进行实验,并与其他基准模型进行对比,验证了基于Inception的卷积序列推荐模型的性能优于最新的序列推荐模型,在Top-N序列推荐的三种评价指标中(精确率,召回率,平均AP值),平均提升幅度在10%左右,单个指标上的最大提升幅度为14%。

基于知识图谱嵌入及多神经网络的序列推荐算法研究

这是一篇关于序列推荐,知识图谱,卷积神经网络,循环神经网络,注意力机制的论文, 主要内容为推荐系统从用户的交互信息中学习用户偏好,生成个性化推荐。但现有的推荐系统往往存在数据稀疏性高、可解释性差、模型训练难等问题。面对这些问题衍生了两种主流的研究方向:一般推荐算法和序列推荐算法。一般推荐算法以协同过滤及其变体作为主要内容;序列推荐算法以基于循环神经网络的方法作为主要内容。其中,序列推荐算法通过考虑用户交互的时序信息,额外考虑了用户偏好的动态变化,更符合现实生活中的实际情况。本文基于现有序列推荐算法的思想进行改进,主要改进项目嵌入方法和序列偏好建模框架这两个方面。为序列推荐算法的研究提供了新的思路,具体如下:针对现有序列推荐算法忽略项目嵌入而导致模型准确度不高的问题,提出一种结合知识图谱的新型嵌入方法。现有项目嵌入方法item2vec仅考虑用户的协同相似性,忽略了项目之间内容和属性之间的联系,并且受数据稀疏性的影响严重,而知识图谱结构化信息的加入能很好地改善这些问题。通过将知识图谱与item2vec项目嵌入方法进行结合,嵌入生成的低维向量能更好地反映项目之间的相似性,同时作为深度学习框架的嵌入层能让框架更易训练。针对推荐领域用户序列特殊性问题,提出一种新型的序列偏好学习框架。在推荐中,用户的行为序列远比自然语言处理中的句子或计算机视觉中的图像要复杂得多,用户相邻交互之间的时间间隔不统一、用户意图不统一。单一的循环神经网络结构难以充分的挖掘用户偏好,考虑到卷积神经网络优秀的建模上下文能力,提出结合卷积神经网络与循环神经网络的序列建模方式。通过时序信息细分用户序列,然后采用卷积神经网络学习到用户的兴趣点序列作为循环神经网络的输入,进而生成用户偏好。针对用户历史偏好融合的非个性化问题,提出一种基于自注意力机制的动态偏好融合方法。用户的历史信息中隐藏着用户不同时段的兴趣点偏好,在预测用户当前偏好时历史偏好有着不同的重要性。因此,在卷积神经网络和循环神经网络序列建模模型的基础上提出一个注意力框架,用于动态地结合用户的历史偏好。针对现有序列推荐算法的不足,提出一种基于知识图谱嵌入与多神经网络的序列推荐算法。其主要包括:结合知识图谱改进的项目嵌入方法,循环神经网络结合卷积神经网络以及注意机制的偏好学习方法。

基于自注意力机制的长短期序列推荐算法研究

这是一篇关于自注意力机制,神经网络,协同过滤,序列推荐,隐式反馈的论文, 主要内容为信息时代飞速发展,给人们生活带来便利的同时也带来了信息过载。推荐系统作为一种重要的工具在各种在线平台上为消费者带来了极大的便利。神经网络和注意力机制在自然语言处理等序列任务上有着突出的表现,因此也被迅速应用到了推荐系统中。神经网络相关的推荐算法主要是通过多层感知机来获取用户的总体偏好,而注意力机制相关的方法则主要利用其能够获取序列重点的特性来实现用户序列推荐。这些方法在隐式反馈推荐上分别取得了很好的效果,但是后续的研究却发现,这样的方法并不能很好的获取用户序列更深层的特征和关系。为了提取用户序列深层次的特征并提升推荐性能,提出了一种使用神经网络和自注意力机制来结合用户长期与短期特征的序列推荐方法。一方面通过向量组合拼接的方式来组织用户与物品向量,并使用多层神经网络来学习用户与物品的交互关系,能够根据用户以往的所有交互信息获取到用户的全局长期特征。另一方面使用基于自注意力机制的序列推荐方法,通过用户交互序列中最近的部分历史交互信息来学习序列物品之间的自注意力权重,并提出新的自注意力计算方法来提取用户序列维度之间更细粒度的关系,进而根据这些近期物品信息获取用户的短期序列特征。最后使用融合策略综合考虑两种方法来对目标用户进行推荐,实现兼顾长期与短期特征。对于所提出的基于自注意力机制的长短期序列推荐方法,在Amazon和Movie Lens的多个数据集上进行了大量的实验验证,并与目前流行的一些推荐方法进行对比。结果表明在相同的实验环境下,基于自注意力机制的长短期序列推荐方法在一定程度上超越了当前主流的一些协同过滤推荐以及序列推荐算法。

融合时间信息的图神经网络序列推荐方法研究

这是一篇关于序列推荐,图神经网络,自注意力网络,门控循环单元的论文, 主要内容为随着移动互联网的飞速发展以及信息时代的来临,人们正面对着爆炸式的信息增长。为了缓解用户“信息过载”的困境,并向用户推荐更加具有针对性和个性化的内容,推荐系统应运而生。其中,序列推荐是推荐系统中的重要场景之一。序列推荐旨在根据用户的历史交互序列,刻画出更精准的用户“画像”,以便于向用户推荐更合适的内容和物品。在现实生活中,用户的历史行为以及交互物品往往具有多样性和复杂性。因此,如何更准确地获得用户和物品的嵌入表示,并且捕获用户在历史行为中的动态偏好和多种意向,是序列推荐所面临的一个难题。本文基于图神经网络和时间信息,从多维细粒度抽取物品的特征,生成物品精准的向量化表示。同时,根据用户不同的交互目的,将用户的交互模式进行进一步拆分,以便于实现在不同场景下更准确的推荐。本文的主要工作如下:(1)分析当下推荐算法的发展背景以及意义、国内外推荐算法的研究现状,之后具体介绍推荐算法中的相关概念和技术。(2)为了能多维细粒度地建模交互物品之间的复杂转换关系,本文将物品类别以及交互时间这两个维度的信息融入图卷积网络,在多轮学习过程中,精细化物品的嵌入表示,并通过门控循环单元来捕获交互序列中用户的动态偏好,进行下一个物品推荐。最后通过实验对比验证提出方法的有效性。(3)为了能更加准确地区分用户的交互模式并针对性地推荐物品,本文提出融合时间信息与双通道自注意力机制,并结合图卷积网络,把用户的交互行为进一步区分为周期性和探索性行为。模型根据两种不同情况,分别计算出用户对已访问和未访问物品的不同偏好。最后通过实验对比验证提出方法的有效性。(4)基于提出的两种方法,本文实现了一个新闻推荐系统,该系统基于图神经网络和交互时间来分析用户的历史行为,向用户提供个性化推荐服务。

基于多神经网络及多特征融合的序列推荐算法的研究

这是一篇关于序列推荐,图神经网络,循环神经网络,注意力机制的论文, 主要内容为理解和建模用户行为序列中用户和项目之间的交互,然后计算出用户偏好和项目流行度随时间演变的趋势,这是序列推荐系统的目标。序列推荐的模型有很多,例如,基于马尔可夫链和模式挖掘的传统序列推荐模型,基于分解机的序列推荐模型,基于嵌入的序列推荐模型,还有近些年来研究度较高的基于神经网络和基于注意力机制的序列推荐模型。这些模型都大大提升了个性化推荐的效果,但这些模型同样存在着一些问题,(1)由于不同长度序列其特性会相差很远,所以同一个模型对长短序列的效果也会相差甚远,一般越短的序列中项目与项目之间的关系也就越紧密,越长的序列中存在不相关的项目的可能性越高;(2)对于序列的特征只用到了序列的时序特征,而没有考虑到属性特征,导致出现信息流瓶颈的问题,最后得出的序列特征也就无法准确表示该序列;(3)只考虑了序列本身的特征,而没有考虑到待选项目的特征对于预测结果的影响,这使得推荐模型无法自适应的表示用户不同的兴趣,限制了模型的表达能力。本文针对(1)提出一种基于多神经网络的长短序列推荐算法,该算法首先定义了两个概念,一个是序列的内部相似度,一个是划分长短序列的阈值α,然后计算每个序列的内部相似度并与阈值α比较,并且根据序列的长度,将序列分为长序列和短序列两个部分,将短序列放入GCN(Graph Convolutional Network)和GRU(Gate Recurrent Unit)的联合特征提取器中,而长序列则是用多头注意力机制和LSTM(Long Short-Term Memory)提取序列特征,再使用自注意力机制生成序列的全局特征,将每个序列中与其他项目的关联度最高的项目特征作为序列的突出特征,再将每个序列中的最后一个项目的特征作为序列的当前特征,然后使用注意力网络将上述三个特征组合成序列的最终特征,最后使用softmax函数得出每个待选项目的分数,为用户推荐下一个项目。本文针对(2)和(3)提出了一种基于多特征混合的序列推荐算法,该算法先将序列的初始属性特征放入GCN中得出序列的属性特征,再使用GGNN(Gated Graph Sequence Neural Networks)和多头注意力机制的联合特征提取器得出序列的时序特征,然后使用特征选择层从两种特征中各自选择出最益于模型效果的特征。得到序列的时序特征和属性特征之后,使用候选项目的特征去激活序列中与候选项目相关的兴趣点,得到与候选项目相关的序列特征,这使得模型的表征更加灵活,提高了模型的表达能力。使用注意力机制去得到序列的全局时序特征和全局属性特征,再将序列最后一个项目的时序和属性特征作为序列的当前时序特征和当前属性特征。将时序和属性上述的三个特征各自合并,得到序列的最终时序和属性特征,再将这两类特征合并,得到序列的最终特征。得到序列的最终特征之后,计算每个待选项目的推荐分数,为用户推荐下一个项目。实验表明,本文提出的两个模型在MRR@K和P@K两个评估标准上,与基准算法和目前的前沿算法相比,效果达到了更好的水平,验证了本文提出的算法的有效性。

基于时间感知的深度序列推荐算法研究

这是一篇关于序列推荐,自注意力机制,图神经网络,时间感知,高阶序列模式挖掘的论文, 主要内容为推荐系统作为解决“信息过载”问题的有效方法,推动了包括电商在内的众多领域的发展,序列推荐作为其中一类重要的方法,旨在建模用户动态行为偏好,预测其下一次可能的交互行为。近年来,基于各类深度学习方法的序列推荐算法喷涌而出,极大提升了推荐系统的推荐效果。现有序列推荐算法仅从项目间相对时序关系中挖掘项目间的关联,忽略了其真实交互时间信息的探索与利用;此外,该类算法还存在项目间高阶复杂关系挖掘不充分、辅助信息利用不足、推荐效果受数据稀疏性影响明显等问题。为此,本文从项目的真实交互时间的利用与挖掘角度出发,利用自注意力、图神经网络等深度学习方法,提出如下三个相互独立但又逐步递进深度序列推荐算法,其主要内容与创新点概括如下:(1)提出一种基于多注意力机制的时间间隔感知序列推荐模型(Time Interval-aware Sequential Recommendation,TIASR),通过两个并行的自注意力模块分别建模用户的特征级和项目级上的行为偏好:考虑用户在不同项目上浏览时间的差异性与其感兴趣程度的关系,加入时间间隔感知注意力(Time Interval-aware Attention,TIA)建模用户项目级行为偏好;考虑到用户特征级偏好和项目级偏好的内在约束关系,利用基于互信息最大化理论的自监督学习机制以增强推荐效果。在两个真实的公开数据集上对TIASR模型的有效性进行实验评价,同时验证了考虑用户行为序列中的时间信息有助于获取用户偏好,进一步提高推荐准确性。(2)提出基于时间感知的全局信息增强图神经网络会话推荐模型(Time-aware Global Information Enhanced Graph Neural Network,TaGIE-GNN),利用连续交互的项目间真实时间信息和来自其他会话中的用户长期偏好特征,来增强用户行为偏好的建模以预测用户意图。首先构建时间感知星状会话图(Time-aware Star Session Graph,TaSSG)和全局会话图(Time-aware Global Session Graph,TaGSG),分别对项目间不同级别高阶转换关系进行建模;再利用改进星状图神经网络(time-aware Star Graph Neural Network,tSGNN)和会话感知注意机制学习项目的会话级表示和全局级表示,最后通过动态聚合项目的两级表示以生成会话表示,并据此预测用户当前意图。在四个真实的公开数据集上对TaGIEGNN模型的有效性进行实验评估,并验证了挖掘项目间高阶复杂关联关系和协同会话中用户兴趣偏好对用户意图建模具有促进作用。(3)提出基于时间和关系感知的图协同过滤跨域序列推荐算法(Time and Relationalaware Graph Collaborative Filtering for Cross-domain Sequential Recommendation,TRaGCF),以解决序列推荐中的数据稀疏问题。首先,为获得用户行为序列中项目间复杂的时序依赖关系,进一步改进TaGIE-GNN模型中项目表示学习方法,提出时间感知图注意力机制(Time-aware Graph Attention mechanism,Ta-GAT)学习项目的域间序列级表示;其次,通过域内用户-项目交互二部图挖掘用户的行为偏好,提出一种关系感知图注意力机制(Relational-aware Graph Attention mechanism,Ra-GAT)来学习项目协同表示和用户协同偏好表示,为用户偏好特征的跨域迁移提供基础;最后,为同步提高两个领域中的推荐效果,提出一种用户偏好特征双向迁移(Preference Feature Bi-directional Transfer,PBT)算法,实现迁移用户域间共有偏好并保留用户域内特有偏好。在Amazon MovieBook和Food-Kitchen两个实验数据集上验证了该模型的正确性和有效性。

基于深度学习模型的商品推荐算法研究与应用

这是一篇关于推荐算法,深度学习,协同过滤,自注意力机制,序列推荐的论文, 主要内容为在大数据信息化时代网上购物为人们提供了便捷,但商品种类的繁多令用户难以选择自己需要的产品。推荐系统能有效缓解“信息过载”现象,帮助用户快速定位到可能感兴趣的商品。近年深度学习在各领域被广泛应用,基于深度学习的推荐算法备受研究人员青睐。但是推荐算法还存在数据稀疏性、隐式反馈利用不足、用户兴趣变化、序列信息丢失、深度模型难以扩展等问题。针对上述问题,本文研究了当前推荐算法并结合其不足,利用深度学习框架提出了两个解决方案。本文主要研究内容如下:(1)分析了协同过滤算法以及词嵌入技术的原理,针对矩阵分解等协同过滤算法在数据稀疏时性能大幅下降以及隐式反馈利用不足的问题,提出了基于嵌入表示的协同过滤算法UI2vec。根据本节设计的联合特征提取网络,UI2vec将用户与项目同时嵌入到潜在空间上,并利用项目之间的相似度来预测用户感兴趣的内容。然后基于UI2vec提出了性能更稳定的生成式模型VUI2vec,将用户和项目映射为独立高斯分布,通过变分推断得到两者的近似后验分布。(2)针对用户兴趣变化、序列信息丢失、深度模型难以扩展等问题提出了基于自注意力掩码学习的序列推荐模型GAT4Rec。该方法设计了用于计算用户偏好相似度的门控过滤层,充分利用了项目的边信息,将交互序列提取为用户兴趣相关的子序列。添加位置编码保留序列信息,通过基于自注意力的编码层将提取的子序列转换为用户与物品深层次特征组合,编码层采用参数共享机制。最后设计了结合掩码学习的联合训练损失函数。(3)在TaFeng、Movielens数据集上评估了UI2vec与VUI2vec的推荐性能;选用Movielens与Taobao数据集验证GAT4Rec的有效性。研究了模型内重要超参对性能的影响,并进行了可视化实验以更直观的了解模型的原理。实验结果显示与基线模型最优值相比,UI2vec与VUI2vec在Ta Feng数据集上的指标F1-score分别增长了6.80%与8.37%,在Movielens上分别增长了2.47%与3.91%;GAT4Rec在四个数据集上的实验指标NDCG@10分别增长了5.77%、1.35%、11.58%、1.79%。(4)结合提出的两种推荐算法,基于B/S架构设计并实现了一个商品推荐系统。从需求分析到系统设计规划了展示层、逻辑层、数据层负责的内容,在推荐流程中GAT4Rec与VUI2vec推荐算法分别应用于商品候选集的召回与排序阶段,最后以Springboot、Vue、Flask、Py Torch为基础实现了该系统。

支持隐私保护的电商智能推荐及轻量化算法研究

这是一篇关于序列推荐,模型轻量化,数据接入服务,隐私保护,联邦学习的论文, 主要内容为随着电商平台的不断发展,如何让用户从海量物品中快速发现自己感兴趣的物品,成为了电商平台实现更多利润和长久发展的重要因素。在这个过程中,通过收集和分析用户在电商平台上的行为数据,设计高效的序列推荐算法是平台提高用户满意度和粘性的关键手段。然而,目前的序列推荐算法在对用户行为序列进行建模的时候往往只考虑了用户行为的顺序信息,忽略了用户行为的细粒度时间特征,使得算法难以准确捕捉用户在不同时刻的需求和偏好,影响了推荐的效果和质量。另一方面,在用户隐私保护意识逐渐觉醒以及国家通过立法来限制服务提供商收集用户数据的大环境下,推荐系统需要更加注重用户的隐私保护需求。联邦学习的出现为推荐系统隐私保护提供了一种解决方案,但是在联邦学习场景中,参与联邦学习的用户端设备存储和计算能力参差不齐,在资源受限的设备中,可能无法承受推荐模型所需要的计算和存储负载,影响模型在其本地的部署和运行。针对上述问题,本文从推荐系统的隐私保护需求、用户行为序列建模,以及模型的轻量化三个方面展开研究,主要贡献和创新点如下:(1)在推荐系统的隐私保护需求方面,设计了一种支持隐私保护的电商智能推荐服务架构。该架构充分尊重用户的隐私,将数据收集和使用的选择权交给用户,提供了传统的中心化推荐服务和联邦学习推荐服务两种模式。对于同意共享数据的用户,其数据会通过数据接入服务,用于中心化推荐模型的训练和使用;而不同意共享数据的用户则可以通过联邦学习模块,在本地进行轻量化推荐模型的训练和推荐,从而实现用户可控的隐私保护。(2)在用户行为序列建模方面,提出了一种融合自注意力和细粒度时间特征的卷积序列推荐算法。该算法充分利用了用户行为的细粒度时间特征,通过自注意力机制和卷积操作分别捕捉用户在序列中的长期兴趣和短期偏好,提高了序列推荐模型对时间信息的利用效率。在多个数据集上的实验证明了该算法相比于几个基线模型,可以有效提高推荐的准确性。(3)在模型的轻量化方面,提出了一种轻量级混合序列推荐模型。该模型充分利用用户商品评分信息,采用预训练的方式,减少端到端的用户嵌入训练给模型带来的庞大参数量;使用一种经改进后计算效率更高的自注意力机制,并通过自注意力蒸馏操作降低了模型的存储开销。通过实验验证,改进后的轻量化模型相较于原模型,参数量更少,计算复杂度更低,更适合在联邦学习场景下资源受限的用户端部署。

基于Inception的卷积序列推荐模型研究

这是一篇关于序列推荐,卷积神经网络,用户偏好,Inception网络的论文, 主要内容为序列推荐是推荐系统领域近几年来新兴起的一个研究热点,与传统的推荐系统利用用户的长期兴趣偏好进行推荐不同,序列推荐考虑到用户的兴趣会随着时间的变化而发生改变,依靠用户与项目交互而产生的序列信息动态地构建用户的兴趣偏好,可以更为精确的完成对用户的推荐任务。目前,提取用户行为序列信息的方法有很多种,最为新颖的一种是在时间和潜在空间中将用户的行为序列信息嵌入进一幅“图像”中,利用卷积神经网络中的卷积滤波器提取其中的局部特征,但是,这种方法存在一定问题,现有的卷积网络要么不能很好地将序列信息提取出来,要么容易陷入过拟合。为此,借鉴了Inception网络的设计思想,构建了基于Inception的卷积序列推荐模型。该推荐模型通过设立动态卷积层和静态卷积层两种不同的卷积网络层,更加全面地对提取用户的短期兴趣偏好,并且将用户嵌入矩阵作为用户的长期兴趣偏好嵌入到卷积层的输出中,构建完整的用户兴趣偏好,基于此完成对用户的推荐。通过在三种公开数据集MovieLens 1M,Gowalla,Steam上分别进行实验,并与其他基准模型进行对比,验证了基于Inception的卷积序列推荐模型的性能优于最新的序列推荐模型,在Top-N序列推荐的三种评价指标中(精确率,召回率,平均AP值),平均提升幅度在10%左右,单个指标上的最大提升幅度为14%。