基于Spark平台的电商推荐系统的研究

这是一篇关于电商推荐系统,协同过滤,K-Means聚类,Spark的论文, 主要内容为当今社会,互联网产业发展迅速,如何让用户从电商网站中获取有价值的信息成为了电商从业者的困扰。电商推荐系统成为了解决问题的主要手段。目前,一部分电商推荐系统为用户推荐的商品与用户的兴趣不符合,推荐精度低成为了电商推荐系统面临的重大难题。不仅如此,当一个新用户使用系统时,系统并没有用户的行为数据,系统不知道如何向新用户推荐,这也就是系统的冷启动问题,推荐效率和系统的运行效率同样影响用户的体验感。所以本文主要针对电商推荐系统的不足之处进行了以下的研究:(1)针对推荐效率低的问题,本文对传统K-Means算法进行改进,提出了一种基于孤立森林的K-Means聚类算法——IFK-Means算法,采用了对用户的客服满意度聚类的方式,降低推荐算法的计算量。IFK-Means算法通过孤立森林算法计算出数据的异常因子,筛除异常因子高过阈值的数据,然后在K-Means聚类过程中,通过异常因子加权欧氏距离公式和平均误差公式。IFK-Means算法提高了聚类的效果和推荐算法的运行效率。(2)针对推荐精度低的问题,本文对基于用户的协同过滤算法进行改进,提出了融合客服满意度的协同过滤算法——CS-CF算法,分析了计算用户相似度的过程,在过程中融入用户的客服满意度。CS-CF算法采用IFK-Means对用户的客服满意度聚类,通过欧式距离公式计算用户与用户之间的客服满意度相似度,并将客服满意度相似度作为权重与皮尔逊相关系数加权和,得到最终的用户相似度,然后根据用户相似度,预测用户对其他商品的评分。该方法提高了算法的推荐精度。(3)针对冷启动问题,采用了推荐近期热门商品的方式。系统会将离线推荐计算的近期热门商品推荐给新用户,缓解了用户冷启动问题。系统的架构主要有用户可视化、综合业务服务、数据库服务、离线推荐服务、实时推荐服务这五个部分。为了提高系统的运行效率,本文的电商推荐系统采用Spark高性能计算框架,减少了计算所需要的时间。实验结果表明,基于Spark平台实现的IFK-Means算法提升了聚类的效果和效率,更好地应用在CS-CF算法中。IFK-Means在对用户的客服满意度聚类时,生成更优的聚类结果。实验通过准确率、召回率、F1值、覆盖率验证CS-CF算法,相对于传统协同过滤算法,CS-CF算法提升了推荐精度和推荐效率。对电商推荐系统测试后,其功能都可以较好的实现,并缓解了用户冷启动问题。本文有图45幅,表14个,参考文献87篇。

考虑用户生命周期的混合推荐算法设计与实现

这是一篇关于电商推荐系统,用户生命周期,深度学习神经网络,混合推荐模型,GRU,注意力机制,商品浏览时长的论文, 主要内容为在互联网高速发展的时代,我们在移动设备上消费是个再正常不过的场景,电商企业现在对于利用营销手段获客,吸引用户进入平台已经不是一件难事,但是由于电商平台竞争激烈,用户选择越来越多,如何在短暂的,碎片化的时间内,使得用户快速对平台内商品激发兴趣,提高用户在电商平台的活跃度,保持长周期的用户留存,并使用户形成消费习惯,成为了电商企业的重大挑战。现在越来多的企业在自己的电商平台引入个性化推荐模块,来提高用户的活跃度。本文以电商平台中推荐模块中个性化推荐算法作为研究主题,因此本文研究了电商推荐算法的发展历程以及当代常用的基于深度学习推荐模型RNN,LSTM,GRU等。由于以用户为中心的互联网营销思维在电商生态中越来越重要,在个性化营销、用户运营的过程中,都会以用户视角来进行企业管理规划。随着这两年个性化推荐算法的发展,虽然运用了很多机器学习、深度学习的技术,但是融入业务内容的用户生命周期理念研究非常少,所以本文将用户生命周期作为切入视角,对现有的深度学习的个性化推荐模型进行优化。本文首先研究了电商用户生命周期的相关理论,着重阐述了用户生命周期中较为经典的AARRR模型。但因为AARRR理论对于本文研究的内容有些局限性,所以本文基于用户行为规律的探索,改进了原有的生命周期理论,提出GMS(Growth Period-成长期,Mature Period-成熟期,Sleeping Period-休眠期)生命周期理论,使之融入电商推荐系统中,更好的帮助电商企业契合在不同生命周期阶段的用户需求,提高推荐的精准度。在不同的生命周期阶段下,用户的行为规律不同,用户主要的需求倾向也不经相同,比如在G-成长期,用户行为具有稀缺性,需要平台做主动的热门商品导购,在M-成熟期,用户对商品的兴趣程度可以通过大量的历史数据获得,而在S-休眠期,则需要部分热门商品导购,加部分历史行为来唤醒用户对平台商品的兴趣。基于这种多阶段的情况,全局使用单一模型并不很好的满足不同用户需求和特征规律,所以本文研究中尝试在不同的用户生命周期阶段选用最合适的算法模型与之匹配,设计出一个基于深度学习的混合推荐算法模型框架,用户分不同阶段来是适配不同阶段模型,进而达到总体推荐模型效果最佳的状态。由于GRU在传统RNN的基础上优化了梯度消失等问题,在LSTM的基础上提升了运算效率,所以本文最终选定GRU作为主要算法之一。另外,为了能够更好的优化在电商场景兴趣度合理分配的问题,所以本文使用了注意力机制,研究加入注意力因子的混合深度学习推荐算法。时间相关的信息是个性化推荐系统中的一个关键特征。一般来说,不同的商品浏览时长反映了用户当前的兴趣度。本文提出了一种将时长相关信息融入注意力机制的GRU模型,通过对用户浏览各商品的时长信息进行分析、清洗和标准化等处理得到时长注意力因子,并将时长注意力因子和其他用户行为数据共同作为深度学习模型的输入信息进行模型训练和预测,更充分地利用了时间信息来提升推荐效果。最后为了验证本文提出的以用户生命周期的混合推荐算法的效果,本文采用了一些单一模型和混合模型,作为对比,例如:RNN,LSTM,CNN,热门推荐算法和不同阶段使用不同模型等基准。并且,还加入了 dropout来优化本文所提出混合推荐算法。本文采用了真实电商平台app的用户行为数据集,该电商平台有丰富的用户规模和用户行为数据,包括380万+的用户行为明细数据。本文训练和测试的模型,都应用于这个电商app的推荐模块中,以此来尝试提高用户在该模块中对于推荐商品的兴趣度。

基于有限资源的电商系统推荐模块的设计与实现

这是一篇关于电商推荐系统,电商有限资源,用户偏好模型的论文, 主要内容为随着互联网技术与电子商务的不断发展,人们的生活方式产生了巨大的改变,可以足不出户就能获取大量的商品信息,但如此庞大的商品数据量使得用户难于从中快速寻找到适合自己的商品信息,反而使信息使用效率降低了。面对用户希望快速获取有效商品信息的需求,业界普遍采用电子商务推荐系统的方式予以满足。电商推荐系统能够根据用户历史行为数据扮演“导购”角色,为用户提出符合用户偏好的个性化建议,推荐符合用户购买意愿的商品,帮助用户更好地做出购物选择,从而提升用户对电商网站的满意度与忠诚度。目前的电商推荐系统在理论与实践方面皆获得了很大发展,也能够根据用户行为个性化地推荐出一些商品。但目前的电商推荐系统的研究中,普遍缺乏对目前频繁的大型的商业化特惠活动的考虑,如双十一大促时,日常的商品推荐会因商品的有限条件下的用户抢购而失效。对此本文的主要研究点包括:(1)从用户偏好模型的角度出发,通过对用户偏好的属性的分析给出了规范的用户偏好表示方法,通过分析用户在电商网站上的行为流程与描述给出了统一的行为表示方法。以基于内容推荐思想为基础,通过对用户行为的分析,研究了用户对各商品属性的偏好度的计算方式,从而给出了基于内容的用户偏好模型的建模算法。(2)针对目前商业化的大型特惠活动,研究了电商有限资源的概念,并给出了统一的表示方法。针对电商有限资源,以基于用户的时间感知协同过滤算法为基础,改进了用户偏好预测公式,研究了基于有限资源的协同过滤算法,并结合分析出的用户偏好模型对推荐结果进行校正,以提高推荐结果的准确性。在上述方面的研究基础上,本文设计并实现了包括用户偏好模型和基于电商有限资源推荐两个模块的电商个性化推荐原型系统,能够合理地分析用户偏好模型,并基于有限资源有效地推荐商品,对解决频繁的大型的商业化特惠活动的推荐问题有积极意义。

迁移学习在电商推荐系统中的应用研究

这是一篇关于电商推荐系统,迁移学习,相似度迁移,聚类特征迁移的论文, 主要内容为随着电子商务网站规模不断扩大,信息过载问题日趋严重,解决此问题的一个非常有潜力的方法便是个性化推荐系统。但用户和商品数量的激增给传统的电商推荐系统带来了数据稀疏性、冷启动、多样性与精确性两难困境等诸多困扰。跨领域推荐旨在通过领域间的信息共享和互补,从包含丰富数据的其他领域中提取知识,为目标领域的推荐提供帮助,一方面可以缓解数据的稀疏性和冷启动问题,另一方面也可以兼顾多样性和精确性,现已成为推荐系统领域的研究热点。本文从跨领域推荐技术考虑,提出将迁移学习应用到电商推荐中,为电商推荐系统存在的诸多问题提供了一种新的解决思路。本文的主要工作包括以下几点:(1)针对传统协同过滤算法在数据极端稀疏的情况下,可能出现的用户相似度计算不准确问题,提出了一种基于用户相似度迁移的跨电商推荐方法。本方法在跨领域推荐的用户重叠场景下,把信息相对丰富的源域计算出的交叉用户相似度模型迁移到信息匮乏的目标域,实验结果表明本方法能对相似度进行有效迁移,获得更好的推荐性能。(2)针对实际场景的电商网站存在数据保护无法显示获取重叠用户的情况,本文对如何有效获取并迁移源域知识进行了探讨,提出了一种基于聚类特征迁移的跨电商推荐方法。本方法将多个稠密源域中的用户群组对项目群组的行为模式迁移至稀疏的目标域,以帮助其重构用户-项目评分矩阵,进而产生推荐列表。在真实电商网站数据集下进行实验并评估了方法的效果,结果表明本方法在具有较广泛适用性的同时,一方面能更好的改善电商网站现存的数据稀疏性和冷启动问题,提高推荐精度,另一方面也不丢失其推荐的多样性。

基于人脸识别的垂直眼镜电商推荐方法的研究与系统实现

这是一篇关于遮挡人脸识别,树形结构范数,矩阵分解,随机梯度下降,电商推荐系统的论文, 主要内容为近视,被列为世界三大疾病之一,对于近视患者,眼镜是日常必需品。随着经济发展,人们既看中眼镜的光学作用,也强调其装饰功能。如今眼镜的样式种类繁多,干扰了用户的购物选择。另一方面,互联网电子商务发展迅猛,导致传统眼镜行业与新型商务模式结合,产生海量数据,这使得研究者可以通过机器学习等技术从中挖掘有用的信息,生成个性化推荐,帮助用户做出购物选择。本研究以眼镜电商推荐系统为主要研究对象,探讨新型推荐模型,结合用户人脸数据及购物行为数据,实现精准、实时的商品推荐。首先,本文采用结合小批量梯度下降算法MBGD的协同过滤模型,并对MBGD中学习率固定的问题进行改进,提出一种adapter-MBGD算法,提高推荐结果的准确性和实时性;然后引入基于相似人脸匹配的商品推荐方法,并针对近视人群佩戴眼镜这一特征,提出一种有遮挡人脸识别算法,降低遮挡物对人脸匹配的影响。基于相似人脸匹配的推荐方法提供另一维度的商品推荐,能够解决协同过滤推荐模型覆盖率低,发掘长尾商品能力弱的问题,打破热销更热销,冷门更冷门的僵局,提高推荐系统的鲁棒性;最后设计并实现眼镜电商推荐系统。具体工作如下:(1)在推荐系统中,SVD矩阵分解算法是普遍使用的算法之一。由于电商系统数据量大,SVD往往需要结合增量算法使用。本文根据实际情况选择小批量梯度下降算法MBGD配合SVD算法完成推荐。原始的MBGD算法的学习率是固定的,这使得学习率的选择困难。本文针对MBGD算法学习率固定的问题,提出一种adapter-MBGD算法,该算法引入二阶随机Heun数值方法来逼近最优解,利用随机Heun数值方法构造参数的近似,通过这种近似,推断函数在参数点附近的行为,从而为不同的参数设计独立的自适应性学习率,最后通过超参控制稳定学习率的衰减,从而实现学习率的自适应。算法保证学习率在加速前进的同时,仍保持稳定,有效解决了MBGD单一学习率的问题。并将该算法运用到SVD模型中,以优化推荐算法模型。实验结果表明,本文提出的算法表现出RMSA值为0.949的最佳结果,是用于矩阵分解的最佳选择。另外,本文提出的模型更新时间比现有更新最快的SGD算法提高15%,更具准确性和实时性。(2)在眼镜电商推荐系统中,用户上传的人脸图像中往往伴有混合噪声——由眼镜遮挡等引起的结构噪声和由图片拍摄质量等引起的稀疏噪声。混合噪声对人脸识别带来了很大干扰。本文提出一种基于加权Schatten-p范数和树形L∞范数的矩阵回归(WSTL∞MR)模型来处理人脸图像中的混合噪声,用分布模型分别对结构噪声和稀疏噪声进行表征。一方面,用广义矩阵变量slash(G.M.S.)分布表示结构噪声,并引入加权的Schatten-p范数来解决在使用最大后验概率估计(MAP)推导模型过程中出现的秩函数问题。该范数是对秩函数的现有最佳解,在处理实际问题时更具灵活性,同时更好地逼近原低秩假设。另一方面,用树形结构范数来约束稀疏噪声,树形L∞范数打破了L1范数对像素间独立性的假设,增强模型的普适性。并进一步基于交替方向乘子法(ADMM)给出所提模型的求解过程。实验结果表明,本模型的人脸重构错误率最低,为2.11%。即使对于眼镜和围巾这样的真实伪装,本模型也表现出较好的性能,识别率相对常用算法平均提高了3.25%,在此基础上叠加稀疏噪声后,识别率平均提高10.05%,可见本模型对混合噪声下的人脸识别具有很好的性能。(3)在上述研究的基础之上,本文还完成了基于人脸识别的垂直眼镜电商推荐系统的设计与实现,实现了眼镜试戴功能,并结合人脸识别和用户行为进行个性化产品推荐。

考虑用户生命周期的混合推荐算法设计与实现

这是一篇关于电商推荐系统,用户生命周期,深度学习神经网络,混合推荐模型,GRU,注意力机制,商品浏览时长的论文, 主要内容为在互联网高速发展的时代,我们在移动设备上消费是个再正常不过的场景,电商企业现在对于利用营销手段获客,吸引用户进入平台已经不是一件难事,但是由于电商平台竞争激烈,用户选择越来越多,如何在短暂的,碎片化的时间内,使得用户快速对平台内商品激发兴趣,提高用户在电商平台的活跃度,保持长周期的用户留存,并使用户形成消费习惯,成为了电商企业的重大挑战。现在越来多的企业在自己的电商平台引入个性化推荐模块,来提高用户的活跃度。本文以电商平台中推荐模块中个性化推荐算法作为研究主题,因此本文研究了电商推荐算法的发展历程以及当代常用的基于深度学习推荐模型RNN,LSTM,GRU等。由于以用户为中心的互联网营销思维在电商生态中越来越重要,在个性化营销、用户运营的过程中,都会以用户视角来进行企业管理规划。随着这两年个性化推荐算法的发展,虽然运用了很多机器学习、深度学习的技术,但是融入业务内容的用户生命周期理念研究非常少,所以本文将用户生命周期作为切入视角,对现有的深度学习的个性化推荐模型进行优化。本文首先研究了电商用户生命周期的相关理论,着重阐述了用户生命周期中较为经典的AARRR模型。但因为AARRR理论对于本文研究的内容有些局限性,所以本文基于用户行为规律的探索,改进了原有的生命周期理论,提出GMS(Growth Period-成长期,Mature Period-成熟期,Sleeping Period-休眠期)生命周期理论,使之融入电商推荐系统中,更好的帮助电商企业契合在不同生命周期阶段的用户需求,提高推荐的精准度。在不同的生命周期阶段下,用户的行为规律不同,用户主要的需求倾向也不经相同,比如在G-成长期,用户行为具有稀缺性,需要平台做主动的热门商品导购,在M-成熟期,用户对商品的兴趣程度可以通过大量的历史数据获得,而在S-休眠期,则需要部分热门商品导购,加部分历史行为来唤醒用户对平台商品的兴趣。基于这种多阶段的情况,全局使用单一模型并不很好的满足不同用户需求和特征规律,所以本文研究中尝试在不同的用户生命周期阶段选用最合适的算法模型与之匹配,设计出一个基于深度学习的混合推荐算法模型框架,用户分不同阶段来是适配不同阶段模型,进而达到总体推荐模型效果最佳的状态。由于GRU在传统RNN的基础上优化了梯度消失等问题,在LSTM的基础上提升了运算效率,所以本文最终选定GRU作为主要算法之一。另外,为了能够更好的优化在电商场景兴趣度合理分配的问题,所以本文使用了注意力机制,研究加入注意力因子的混合深度学习推荐算法。时间相关的信息是个性化推荐系统中的一个关键特征。一般来说,不同的商品浏览时长反映了用户当前的兴趣度。本文提出了一种将时长相关信息融入注意力机制的GRU模型,通过对用户浏览各商品的时长信息进行分析、清洗和标准化等处理得到时长注意力因子,并将时长注意力因子和其他用户行为数据共同作为深度学习模型的输入信息进行模型训练和预测,更充分地利用了时间信息来提升推荐效果。最后为了验证本文提出的以用户生命周期的混合推荐算法的效果,本文采用了一些单一模型和混合模型,作为对比,例如:RNN,LSTM,CNN,热门推荐算法和不同阶段使用不同模型等基准。并且,还加入了 dropout来优化本文所提出混合推荐算法。本文采用了真实电商平台app的用户行为数据集,该电商平台有丰富的用户规模和用户行为数据,包括380万+的用户行为明细数据。本文训练和测试的模型,都应用于这个电商app的推荐模块中,以此来尝试提高用户在该模块中对于推荐商品的兴趣度。

基于有限资源的电商系统推荐模块的设计与实现

这是一篇关于电商推荐系统,电商有限资源,用户偏好模型的论文, 主要内容为随着互联网技术与电子商务的不断发展,人们的生活方式产生了巨大的改变,可以足不出户就能获取大量的商品信息,但如此庞大的商品数据量使得用户难于从中快速寻找到适合自己的商品信息,反而使信息使用效率降低了。面对用户希望快速获取有效商品信息的需求,业界普遍采用电子商务推荐系统的方式予以满足。电商推荐系统能够根据用户历史行为数据扮演“导购”角色,为用户提出符合用户偏好的个性化建议,推荐符合用户购买意愿的商品,帮助用户更好地做出购物选择,从而提升用户对电商网站的满意度与忠诚度。目前的电商推荐系统在理论与实践方面皆获得了很大发展,也能够根据用户行为个性化地推荐出一些商品。但目前的电商推荐系统的研究中,普遍缺乏对目前频繁的大型的商业化特惠活动的考虑,如双十一大促时,日常的商品推荐会因商品的有限条件下的用户抢购而失效。对此本文的主要研究点包括:(1)从用户偏好模型的角度出发,通过对用户偏好的属性的分析给出了规范的用户偏好表示方法,通过分析用户在电商网站上的行为流程与描述给出了统一的行为表示方法。以基于内容推荐思想为基础,通过对用户行为的分析,研究了用户对各商品属性的偏好度的计算方式,从而给出了基于内容的用户偏好模型的建模算法。(2)针对目前商业化的大型特惠活动,研究了电商有限资源的概念,并给出了统一的表示方法。针对电商有限资源,以基于用户的时间感知协同过滤算法为基础,改进了用户偏好预测公式,研究了基于有限资源的协同过滤算法,并结合分析出的用户偏好模型对推荐结果进行校正,以提高推荐结果的准确性。在上述方面的研究基础上,本文设计并实现了包括用户偏好模型和基于电商有限资源推荐两个模块的电商个性化推荐原型系统,能够合理地分析用户偏好模型,并基于有限资源有效地推荐商品,对解决频繁的大型的商业化特惠活动的推荐问题有积极意义。

基于Spark平台的电商推荐系统的研究

这是一篇关于电商推荐系统,协同过滤,K-Means聚类,Spark的论文, 主要内容为当今社会,互联网产业发展迅速,如何让用户从电商网站中获取有价值的信息成为了电商从业者的困扰。电商推荐系统成为了解决问题的主要手段。目前,一部分电商推荐系统为用户推荐的商品与用户的兴趣不符合,推荐精度低成为了电商推荐系统面临的重大难题。不仅如此,当一个新用户使用系统时,系统并没有用户的行为数据,系统不知道如何向新用户推荐,这也就是系统的冷启动问题,推荐效率和系统的运行效率同样影响用户的体验感。所以本文主要针对电商推荐系统的不足之处进行了以下的研究:(1)针对推荐效率低的问题,本文对传统K-Means算法进行改进,提出了一种基于孤立森林的K-Means聚类算法——IFK-Means算法,采用了对用户的客服满意度聚类的方式,降低推荐算法的计算量。IFK-Means算法通过孤立森林算法计算出数据的异常因子,筛除异常因子高过阈值的数据,然后在K-Means聚类过程中,通过异常因子加权欧氏距离公式和平均误差公式。IFK-Means算法提高了聚类的效果和推荐算法的运行效率。(2)针对推荐精度低的问题,本文对基于用户的协同过滤算法进行改进,提出了融合客服满意度的协同过滤算法——CS-CF算法,分析了计算用户相似度的过程,在过程中融入用户的客服满意度。CS-CF算法采用IFK-Means对用户的客服满意度聚类,通过欧式距离公式计算用户与用户之间的客服满意度相似度,并将客服满意度相似度作为权重与皮尔逊相关系数加权和,得到最终的用户相似度,然后根据用户相似度,预测用户对其他商品的评分。该方法提高了算法的推荐精度。(3)针对冷启动问题,采用了推荐近期热门商品的方式。系统会将离线推荐计算的近期热门商品推荐给新用户,缓解了用户冷启动问题。系统的架构主要有用户可视化、综合业务服务、数据库服务、离线推荐服务、实时推荐服务这五个部分。为了提高系统的运行效率,本文的电商推荐系统采用Spark高性能计算框架,减少了计算所需要的时间。实验结果表明,基于Spark平台实现的IFK-Means算法提升了聚类的效果和效率,更好地应用在CS-CF算法中。IFK-Means在对用户的客服满意度聚类时,生成更优的聚类结果。实验通过准确率、召回率、F1值、覆盖率验证CS-CF算法,相对于传统协同过滤算法,CS-CF算法提升了推荐精度和推荐效率。对电商推荐系统测试后,其功能都可以较好的实现,并缓解了用户冷启动问题。本文有图45幅,表14个,参考文献87篇。