基于神经网络的行为推荐模型研究

这是一篇关于推荐系统,注意力神经网络,LBSN,用户行为语义建模的论文, 主要内容为随着互联网技术的飞速发展,诸如Amazon、e Bay、Tmall、美团和饿了么等互联网技术服务应用日益成为人们日常生活中的重要一环。这些应用在为人们提供便捷服务的同时,也产生大量的用户-物品、用户-用户和物品-物品的交互数据,而这些数据中往往隐藏着大量的用户个人偏好信息和用户个人行为信息。对这些丰富的隐藏信息通过数据挖掘的手段,可以量化一个用户的偏好、一个物品的属性以及用户与用户之间的信息传播影响关系。基于量化后的行为语义信息,可以广泛应用到个性化推荐、舆情监控、用户画像以及精准广告匹配等领域。在传统推荐领域,现有的基于评分行为的推荐模型不能很好的解决由于数据稀疏所导致的冷启动问题。用户和物品有着丰富的交互数据,但传统的推荐系统只局限于用户对物品的评分数据的处理,忽视了评论信息、浏览或购买物品的先后顺序以及用户的社交关系等交互信息。基于用户行为语义的模型可以有效捕捉用户的偏好和物品的属性,从而提升推荐系统的性能。相较于传统推荐领域,POI(Point of Information)推荐面临着庞大的不同类型数据的处理问题。因此,POI推荐的数据稀疏程度相较于传统推荐更高,冷启动问题更加严重。因此,基于综合利用LBSN(Location Based Social Network)数据的NextPOI推荐系统在近几年成为学术界与工业界的热门研究课题。针对上述推荐系统领域存在的两个问题,本文从以下两个方面进行研究:(1)基于注意力神经网络及用户行为的物品推荐。提出AT-UBM(Attention Neural Network for User Behavior Modeling)算法捕捉用户评论信息中的偏好,并结合用户购买行为预测用户下一个可能想要购买的商品。AT-UBM算法的主要思路是:将所有用户的评论通过一个神经网络过滤机过滤,筛选出对具有代表性的评论信息,再将评论信息输入到一个Attention神经网络赋予不同权重,最后挑选出具有代表性的词向量分别代表用户的评论特征和商品的评论特征。AT-UBM会将商品的评论特征按照用户访问顺序进行拼合(Concat),之后将这个矩阵与用户的评论特征拼合形成用户当前时间段的特征矩阵,并最终利用CNN神经网络提取用户特征并进行预测。真实数据集的实验结果表明,AT-UBM算法与现有算法(AT-Rank)相比,命中率有着6%～8%提高。(2)LBSN中基于图神经网络的POI推荐。LBSN图是一个异构图,其中包含大量异构数据。已有的基于LBSN的POI推荐系统通常将其拆分为多个同构网络进行学习,这样会导致大量异构信息的丢失。本文提出一种异构图嵌入学习模型SGBA(Social-Geographic Behavior Alliance model),此模型直接学习LBSN图上的POI嵌入表示。SGBA首先通过异构随机游走算法获得每个POI相关伪POI序列,再利用Word2vec生成POI嵌入。SGBA算法依据用户访问POI的时间和地理距离划分出不同的访问会话,并利用LSTM(Long Short-Term Memory)从不同会话尺度对用户访问序列进行学习。实验结果表明,SGBA算法与其他算法相比,在AUC(Area Under Curve)、Recall和ACC(Accuracy)上均有性能提升。其中,在Gowalla上相较于ST-RNN(Spatial Temporal Recurrent Neural Networks),AUC性能提升了3.4%,而在Brightkite上相较于ST-RNN,AUC性能提升了3.2%。

LBSN中融合辅助信息的POI推荐模型的设计与实现

这是一篇关于LBSN,POI推荐,图嵌入,图神经网络的论文, 主要内容为随着各类通讯设备以及定位技术的日渐成熟,基于位置的社交网络(Location-based Social Network,LBSNs)也乘着这股东风逐渐发展起来。LBSNs的用户可以通过平板、手机等移动设备对访问的地点进行签到并分享给其他的用户;每个用户也可以通过其他用户的分享发现自己可能感兴趣的兴趣点(Point-of-interest,P OI)。但与此同时,LBSNs每天产生的大量的用户签到数据(check-in)也给用户的信息检索带来了很大的挑战。因此,如何从庞大的签到数据中筛选出有用的信息,并为用户提供精准的个性化POI推荐成为了推荐系统领域一个炙手可热的话题。本文针对现存POI推荐模型中存在的数据稀疏,冷启动等问题,采用融合社交关系、地理信息以及POI类别等辅助信息的方式来提高POI推荐的性能。针对用户访问POI时不同层次的兴趣偏好纠缠在一个统一的嵌入表示中难以解释的问题,本文采用基于图神经网络的嵌入传播机制和邻居路由机制来学习用户访问PO I时的多个潜在的兴趣分布。本文的研究内容如下:(1)LBSN中基于社交关系和POI类别的POI推荐算法。针对POI推荐中数据十分稀疏和可解释性差的问题,提出了一个LBSN中类别感知的POI推荐模型CASGD。CASGD使用改进后的随机游走算法,在LBSN中学习融合了社交关系的POI嵌入表示,并作为下游神经网络的初始值。使用了两个基于LSTM的编码器,分别用来学习用户关于POI和POI类别的偏好;基于POI类别和地理位置信息对候选的POI集合进行筛选,得到当前时刻用户最感兴趣的TOP-K个POI类别。考虑了三个特定的相关性:用户和POI之间的相关性、用户和POI类别之间的相关性以及POI与用户当前偏好表示的相关性,对用于推荐的POI进行排序。实验表明,CASGD模型提高了POI推荐的性能。(2)LBSN中基于多兴趣感知的POI推荐算法。为了更好地区分用户在访问POI时不同的兴趣偏好对最终决定做出的贡献,本文提出了一个基于图神经网络的多兴趣感知的POI推荐模型MIAPD,从更细粒度的层面学习相关的兴趣偏好分布。MIAPD模型将初始特征向量分割成多个块,对应多个潜在的兴趣偏好,并建立相应的兴趣感知图。使用邻居路由机制和嵌入传播机制可以在不同的兴趣感知图中收集到与第K个兴趣偏好相关的信息,并同时对用户、POI嵌入表示进行迭代更新。MIAPD模型最终可以得到解耦后的用户、POI多兴趣嵌入表示,以及一组可解释的兴趣偏好感知图。实验表明,对冗杂的兴趣偏好进行建模提高了POI推荐结果的可解释性以及POI推荐的性能。

基于社团聚类的兴趣点推荐算法研究

这是一篇关于LBSN,兴趣点推荐算法,相容类预填补,社团聚类,多源异构数据的论文, 主要内容为近年来,Web2.0技术得到了迅速的发展,社交网络也逐渐繁荣,如微信、Facebook、Twitter等应用已经在全球流行。同时随着智能手机的发展,支持GPS功能并且能够运行提供位置服务APP的手机开始普及,在这种情况下,基于位置的社交网络(location-based social networks,LBSN)也随之蓬勃发展起来。利用兴趣点(point-of-interest,POI)推荐系统,一方面用户可以发现感兴趣的商家与地点,得到丰富多彩的体验,另一方面,商家可以进行广告推送与商品营销,提高营业额与利润。目前推荐算法已经在传统的电商平台和社交网络平台上得到了广泛的使用,对于位置社交网络来说,推荐系统也是十分重要的。兴趣点推荐系统中蕴含着丰富的多源异构数据,如好友关系数据、地理位置数据以及用户对兴趣点的评论文本、评分等,使用这些数据可以有效提升兴趣点推荐算法的准确率。但是LBSN中的数据信息往往会存在数据稀疏,甚至部分信息缺失的情况,比如某些用户并没有添加好友,因此数据稀疏性与鲁棒性问题是兴趣点推荐算法中必须要解决的问题;此外,由于LBSN中的数据信息具有异构、多维度的特点,因此如何在推荐算法模型中融合多源异构信息也是值得研究的。本文针对兴趣点推荐算法需要解决的数据稀疏性、推荐实时性、数据多源异构性以及算法模型鲁棒性等问题,通过对用户访问兴趣点行为进行建模,预测用户兴趣偏好,从而为用户进行兴趣点推荐。具体来说,本文的研究工作与成果主要体现在以下:(1)针对兴趣点推荐算法面对的数据稀疏性问题,给出了一种基于相容类的预填补算法PACC。该算法通过计算相容类,用相容关系代替粗糙集理论中的不可分辨关系,缓解了原始用户-兴趣点评分矩阵的稀疏性问题。同时分析了算法的时间复杂度,并且在Yelp数据集上与其他预填补算法进行了对比实验。(2)针对推荐实时性问题以及传统社团发现算法应用于兴趣点推荐的缺陷,给出了一种基于社团聚类的兴趣偏好建模算法CDCF。CDCF算法融合了用户的兴趣偏好信息以及社交好友关系,同时通过社团聚类方法达到了提前建立模型以及缩小近邻搜索空间的目的,提高了推荐算法的准确率以及实时性。(3)兴趣点推荐系统中蕴含着丰富的多源异构数据,通过挖掘这些数据可以有效地提高兴趣点推荐算法的性能。本文通过为CDCF社团聚类算法添加距离因素,进而融合好友关系数据、地理位置数据以及用户-兴趣点评分矩阵建立了SoGeoSco(Social Geographical and Score)模型来进行兴趣点推荐。SoGeoSco模型中用户对兴趣点的访问概率由用户与兴趣点间的距离、用户对兴趣点的个人兴趣和社交兴趣这三个因素决定。具体来说,模型通过朴素贝叶斯分类器来对地理位置数据进行建模得到用户与兴趣点间的距离,利用CDPC社团聚类算法来分别对好友关系数据以及签到评分数据建模得到用户对兴趣点的个人兴趣和社交兴趣,最后使用一个具有鲁棒性的规则将多源数据融合起来得到SoGeoSco模型。基于公开数据集进行了对比实验,结果分析证明,与其他主流的兴趣点推荐算法进行相比,SoGeoSco模型能够提高准确率和召回率,并且在部分信息缺失的情况下仍具有良好的推荐性能,表现出了一定的鲁棒性,获得了更好的推荐效果。

多信息嵌入和位置信息融合的兴趣点推荐算法研究

这是一篇关于LBSN,兴趣点推荐,表示学习,图嵌入,序列嵌入的论文, 主要内容为随着智能设备的普及,GPS和Web2.0技术的发展,能够基于位置提供服务的应用程序应运而生。基于位置的社交网络(Location-based Social Network,LBSN)也变得流行起来,用户可以轻松地访问LBSN应用程序,并在自己感兴趣的兴趣点(Point of Interest,POI)留下足迹,比如用户感兴趣的餐厅、酒店、剧院等。然而,随着城市的发展,人们生活的物理边界不断被拓宽,大量的兴趣点被开发,“去哪里”变成了一个严重困扰用户的大问题。个性化POI推荐的出现,帮助用户过滤掉不感兴趣的兴趣点,减少决策时间,以提高用户的体验。不同于Netflix中的电影推荐,交友网站中的好友推荐,网上购物中的商品推荐,LBSN中的兴趣点推荐由于人移动的随机性,LBSN中数据的稀疏性、异构性等问题,使得兴趣点推荐具有独特的挑战性。许多学者通过利用LBSN中的好友信息、地理位置信息、签到序列信息、时间信息等来提高兴趣点推荐系统的性能,但是能综合利用多种信息来改进推荐系统性能的方法还比较少。为了应对上述问题,本文提出了一种多信息嵌入和位置信息融合的兴趣点推荐算法。通过利用用户好友信息、兴趣点标签信息、用户签到序列信息、地理位置信息来建立一个统一的模型Emb Geo Rec进行个性化POI推荐。本文主要研究工作如下:(1)提出了一种基于LINE算法的图嵌入推荐算法Line Rec。通过用户签到数据,用户好友数据,兴趣点的标签数据,建立三部图,即用户-好友-兴趣点图、用户-兴趣点-标签图。通过图嵌入算法Line Rec,对三部图(用户-好友-兴趣点,用户-兴趣点-标签)进行训练,整合用户好友信息和兴趣点标签信息,得到用户对兴趣点的个人兴趣和社交兴趣评分。通过实验,得到算法的最佳参数设定。(2)提出了一种多信息嵌入的联合推荐算法Emb Rec。针对用户的签到信息,以及同一用户在两个连续签到的兴趣点签到的时间间隔,得到用户的签到序列。设计了一种基于word2vec算法的序列嵌入推荐算法Seq Rec,通过序列嵌入算法,得到用户签到序列中的上下文信息,获取用户的签到规律。进而结合(1)中的图嵌入推荐算法Line Rec,提出了一种多信息嵌入的联合推荐算法Emb Rec进行兴趣点推荐。(3)通过(2)中提出的联合嵌入算法Emb Rec整合用户好友信息、兴趣点标签信息、用户签到序列信息,继而添加地理位置信息来建模,充分挖掘用户的个人喜好。具体来说,通过图嵌入算法Line Rec,对三部图(用户-好友-兴趣点,用户-兴趣点-标签)进行训练,整合用户好友信息和兴趣点标签信息,得到用户对兴趣点的个人兴趣和社交兴趣评分。通过序列嵌入算法Seq Rec,对用户的签到序列进行训练,整合用户的签到序列信息,得到用户的签到规律。另外,用户与兴趣点之间的距离也是相当重要的,通过Naive Bayesian算法,整合地理位置信息,得到用户在某个兴趣点签到的概率,并进行打分。最后建立一个统一的模型Emb Geo Rec进行个性化POI推荐。通过在两种公开的真实数据集上进行实验,结果表明,本文提出的多信息嵌入和位置信息融合的兴趣点推荐算法Emb Geo Rec与其他比较流行的兴趣点推荐算法相比,具有更好的推荐效果。

多信息嵌入和位置信息融合的兴趣点推荐算法研究

这是一篇关于LBSN,兴趣点推荐,表示学习,图嵌入,序列嵌入的论文, 主要内容为随着智能设备的普及,GPS和Web2.0技术的发展,能够基于位置提供服务的应用程序应运而生。基于位置的社交网络(Location-based Social Network,LBSN)也变得流行起来,用户可以轻松地访问LBSN应用程序,并在自己感兴趣的兴趣点(Point of Interest,POI)留下足迹,比如用户感兴趣的餐厅、酒店、剧院等。然而,随着城市的发展,人们生活的物理边界不断被拓宽,大量的兴趣点被开发,“去哪里”变成了一个严重困扰用户的大问题。个性化POI推荐的出现,帮助用户过滤掉不感兴趣的兴趣点,减少决策时间,以提高用户的体验。不同于Netflix中的电影推荐,交友网站中的好友推荐,网上购物中的商品推荐,LBSN中的兴趣点推荐由于人移动的随机性,LBSN中数据的稀疏性、异构性等问题,使得兴趣点推荐具有独特的挑战性。许多学者通过利用LBSN中的好友信息、地理位置信息、签到序列信息、时间信息等来提高兴趣点推荐系统的性能,但是能综合利用多种信息来改进推荐系统性能的方法还比较少。为了应对上述问题,本文提出了一种多信息嵌入和位置信息融合的兴趣点推荐算法。通过利用用户好友信息、兴趣点标签信息、用户签到序列信息、地理位置信息来建立一个统一的模型Emb Geo Rec进行个性化POI推荐。本文主要研究工作如下:(1)提出了一种基于LINE算法的图嵌入推荐算法Line Rec。通过用户签到数据,用户好友数据,兴趣点的标签数据,建立三部图,即用户-好友-兴趣点图、用户-兴趣点-标签图。通过图嵌入算法Line Rec,对三部图(用户-好友-兴趣点,用户-兴趣点-标签)进行训练,整合用户好友信息和兴趣点标签信息,得到用户对兴趣点的个人兴趣和社交兴趣评分。通过实验,得到算法的最佳参数设定。(2)提出了一种多信息嵌入的联合推荐算法Emb Rec。针对用户的签到信息,以及同一用户在两个连续签到的兴趣点签到的时间间隔,得到用户的签到序列。设计了一种基于word2vec算法的序列嵌入推荐算法Seq Rec,通过序列嵌入算法,得到用户签到序列中的上下文信息,获取用户的签到规律。进而结合(1)中的图嵌入推荐算法Line Rec,提出了一种多信息嵌入的联合推荐算法Emb Rec进行兴趣点推荐。(3)通过(2)中提出的联合嵌入算法Emb Rec整合用户好友信息、兴趣点标签信息、用户签到序列信息,继而添加地理位置信息来建模,充分挖掘用户的个人喜好。具体来说,通过图嵌入算法Line Rec,对三部图(用户-好友-兴趣点,用户-兴趣点-标签)进行训练,整合用户好友信息和兴趣点标签信息,得到用户对兴趣点的个人兴趣和社交兴趣评分。通过序列嵌入算法Seq Rec,对用户的签到序列进行训练,整合用户的签到序列信息,得到用户的签到规律。另外,用户与兴趣点之间的距离也是相当重要的,通过Naive Bayesian算法,整合地理位置信息,得到用户在某个兴趣点签到的概率,并进行打分。最后建立一个统一的模型Emb Geo Rec进行个性化POI推荐。通过在两种公开的真实数据集上进行实验,结果表明,本文提出的多信息嵌入和位置信息融合的兴趣点推荐算法Emb Geo Rec与其他比较流行的兴趣点推荐算法相比,具有更好的推荐效果。

基于神经网络的行为推荐模型研究

这是一篇关于推荐系统,注意力神经网络,LBSN,用户行为语义建模的论文, 主要内容为随着互联网技术的飞速发展,诸如Amazon、e Bay、Tmall、美团和饿了么等互联网技术服务应用日益成为人们日常生活中的重要一环。这些应用在为人们提供便捷服务的同时,也产生大量的用户-物品、用户-用户和物品-物品的交互数据,而这些数据中往往隐藏着大量的用户个人偏好信息和用户个人行为信息。对这些丰富的隐藏信息通过数据挖掘的手段,可以量化一个用户的偏好、一个物品的属性以及用户与用户之间的信息传播影响关系。基于量化后的行为语义信息,可以广泛应用到个性化推荐、舆情监控、用户画像以及精准广告匹配等领域。在传统推荐领域,现有的基于评分行为的推荐模型不能很好的解决由于数据稀疏所导致的冷启动问题。用户和物品有着丰富的交互数据,但传统的推荐系统只局限于用户对物品的评分数据的处理,忽视了评论信息、浏览或购买物品的先后顺序以及用户的社交关系等交互信息。基于用户行为语义的模型可以有效捕捉用户的偏好和物品的属性,从而提升推荐系统的性能。相较于传统推荐领域,POI(Point of Information)推荐面临着庞大的不同类型数据的处理问题。因此,POI推荐的数据稀疏程度相较于传统推荐更高,冷启动问题更加严重。因此,基于综合利用LBSN(Location Based Social Network)数据的NextPOI推荐系统在近几年成为学术界与工业界的热门研究课题。针对上述推荐系统领域存在的两个问题,本文从以下两个方面进行研究:(1)基于注意力神经网络及用户行为的物品推荐。提出AT-UBM(Attention Neural Network for User Behavior Modeling)算法捕捉用户评论信息中的偏好,并结合用户购买行为预测用户下一个可能想要购买的商品。AT-UBM算法的主要思路是:将所有用户的评论通过一个神经网络过滤机过滤,筛选出对具有代表性的评论信息,再将评论信息输入到一个Attention神经网络赋予不同权重,最后挑选出具有代表性的词向量分别代表用户的评论特征和商品的评论特征。AT-UBM会将商品的评论特征按照用户访问顺序进行拼合(Concat),之后将这个矩阵与用户的评论特征拼合形成用户当前时间段的特征矩阵,并最终利用CNN神经网络提取用户特征并进行预测。真实数据集的实验结果表明,AT-UBM算法与现有算法(AT-Rank)相比,命中率有着6%～8%提高。(2)LBSN中基于图神经网络的POI推荐。LBSN图是一个异构图,其中包含大量异构数据。已有的基于LBSN的POI推荐系统通常将其拆分为多个同构网络进行学习,这样会导致大量异构信息的丢失。本文提出一种异构图嵌入学习模型SGBA(Social-Geographic Behavior Alliance model),此模型直接学习LBSN图上的POI嵌入表示。SGBA首先通过异构随机游走算法获得每个POI相关伪POI序列,再利用Word2vec生成POI嵌入。SGBA算法依据用户访问POI的时间和地理距离划分出不同的访问会话,并利用LSTM(Long Short-Term Memory)从不同会话尺度对用户访问序列进行学习。实验结果表明,SGBA算法与其他算法相比,在AUC(Area Under Curve)、Recall和ACC(Accuracy)上均有性能提升。其中,在Gowalla上相较于ST-RNN(Spatial Temporal Recurrent Neural Networks),AUC性能提升了3.4%,而在Brightkite上相较于ST-RNN,AUC性能提升了3.2%。

基于LBSN的景点推荐及路线规划系统研究

这是一篇关于LBSN,地点推荐,签到数据,行程推荐,消费水平的论文, 主要内容为社会的快速发展和人们生活水平的提高方便了人们的出行,因此近年来,我国旅游业取得了巨大的发展,同时关于旅游方面的研究课题也得到了广泛的关注,其中旅游推荐就是众多课题的一个。移动互联网的迅速发展为旅游推荐研究提供了数据支持,LBSN(Location-based Social Network,基于位置的社交网络)中的数据不仅能够反映用户偏好,而且由于其具有空间特征的特性,因此LBSN中的数据还能够反映流行路线和用户转移模式的规律。由于互联网的发展迅速及其庞大的使用人群,其产生的数据量是非常巨量的,这导致了大部分的推荐方法在召回率和精确率方面不能达到让人满意的结果。另一方面,在旅游新城市之前,路线规划基本上是一项必备的工作,虽然当前存在较多的旅游网站可以为游客提供数据查询,但是由于其数据量的庞大,这无疑增大了用户的工作量,并且不能解决用户偏好、约束条件等问题。尤其在用户规划旅游行程时,更需要用户花费大量的时间,但是在大部分情况下,用户仍然不会获得自己满意的结果,因地点选择和路线规划对于游客来说是一项艰巨的任务,个性化旅游推荐不仅能降低用户的工作量,还能够有效挖掘用户的偏好和一些隐蔽景点,这可以提升用户的旅游体验。本文在基于Foursquare中真实数据集的基础上,从旅游研究中的景点推荐和行程推荐两个方面做了相关研究,主要贡献如下:(1)受文本挖掘中TF-IDF方法的启发,本文将采用该方法挖掘用户的类别偏好,并将其融合在基于签到频率矩阵的过滤方法中,实验表明,其可以有效改进推荐效果。(2)针对不同地点在不同时段具有不同吸引力和用户对地理空间距离的敏感性不同的问题,本文将时空因素同样作为地点的影响因素,另一方面,本文将用户消费水平融入到地点个性化推荐系统中,在当前众多类型的兴趣点中,其面向的用户群体不同,因此通过采集并分析用户的消费地点的消费水平,可以更加有效的挖掘用户的偏好,本文通过自适应核密度估计的方法对用户的消费水平进行建模;最后,提出了一个融合用户消费水平的多因素地点推荐系统。(3)当前个性化旅行路线的研究中,大多数研究者集中在地点属性挖掘方面,很少考虑用户的转移模式的研究,本文通过马尔科夫模型来挖掘用户转移模式规律,并将其作为地点选择的重要因素;同时构建了用户个性化停留时间及考虑延迟指数的转移时间的计算方法,最后通过状态扩展路径树来规划出符合约束条件的线路,最后与几种不同的路径推荐算法相比较。