基于用户行为的个性化推荐算法研究
这是一篇关于隐式反馈,协同过滤算法,ALS的论文, 主要内容为随着互联网的不断发展,数据过载问题日益明显,用户很难从海量网络数据中获取自己感兴趣的部分,为了解决这类问题,产生了搜索引擎和推荐系统两种工具,其中推荐系统有着更多的新颖性和主动性,因此更受学术界和企业界的关注。一个好的推荐算法可以根据用户的历史数据,准确地分析出用户偏好,进而产生独一无二的推荐列表。为了直观获取用户喜好,大部分的推荐算法采用显式评分进行分析,但这类数据一般不容易获取并且不能保证真实性,在构建用户-商品评分矩阵时往往会产生较为稀疏的矩阵。实际上,用户在浏览网站时,会产生大量的隐式反馈数据,这些数据能够真实表现出用户的行为轨迹。但隐式反馈数据中存在许多无效或异常数据,在进行推荐时并不能直接的体现出价值,因此不能被很好的利用。针对以上的问题,本文提出了一种基于用户行为的个性化推荐方法,缓解了推荐过程中产生稀疏矩阵的问题,提出了隐式反馈数据转换为显示评分的方法。本文研究的主要内容如下:(1)利用用户隐式反馈数据进行推荐,为了减少异常行为带来的干扰,通过基于规则的方法对数据进行过滤,提取出正常行为。将用户的行为进行量化表示,准确的挖掘出行为和兴趣之间的隐含关系。一般算法会根据行为的重要性,主观的给行为赋予分数,但这种方法比较粗糙,可解释性较差。本文提出了一种衡量用户兴趣度与用户行为关系的模型,使用层次分析法和熵权法对用户行为进行赋权,可以有效的将隐式反馈数据转换为显示评分数据,提高了推荐准确度。(2)由于用户与用户之间具有较大的性格差异,在数据上体现的是用户各行为与购买行为的比例会存在差异,因此本文融入了不同行为的购买率,对转换后的评分数据进行修正,使用协同过滤算法进行推荐能够增大相似用户之间的匹配度,本算法在Spark平台中进行实验,实验结果表明提高了推荐结果的准确度。
基于Spark的推荐系统的研究
这是一篇关于推荐系统,协同过滤,Spark,ALS,准确性的论文, 主要内容为在当今时代互联网的飞速发展,面对互联网中大量的数据,如何从数据中发掘出对用户有价值的信息是具有重大意义的。推荐系统是一种从用户的行为表现的数据中为用户寻找出其感兴趣的信息的一种应用。其应用在多个领域包括电子商务,音乐和视频等多个门户。其中,推荐算法作为推荐系统中实现数据挖掘的重要的组成部分,但是随着用户和商品的增长,数据量也大幅度增长,仍然存在数据的稀疏性问题,系统预测不准确的问题。传统的基于单机的推荐算法需要耗费大量的时间,这并不能符合当今的商业时代的需求,解决这一问题需将单机的算法进行并行化实现。Spark作为一个基于内存的分布式的计算框架,特点是进行迭代式的运算。本文主要研究了推荐系统中的两种推荐算法包括基于邻域的推荐算法和基于模型的推荐算法,针对以上提到的准确性,数据稀疏性的问题等,将算法进行改进,并将在Spark平台上并行化实现和优化。主要包括以下三个方面:(1)针对基于用户的协同过滤算法存在用户-评分矩阵数据稀疏的问题,引入了基于用户的属性的特征相似度,在计算本文的用户相似度的情况下,将传统的用户的协同过滤相似度和用户的属性的特征相似度结合,通过此来降低的评分的数据的稀疏性,在Spark平台并行优化后的算法,对实验的结果进行分析,提高了算法的执行的效率和推荐的准确性。(2)针对基于物品的协同过滤算法在冷启动和预测准确率不理想的问题,引入了基于物品的属性的特征相似度,在计算本文的物品相似度的情况下,将物品的协同过滤相似度和物品的属性的特征相似度结合,通过此来缓解冷启动带来的计算相似度的问题,在Spark平台并行优化后的算法,对实验的结果进行分析,提高了算法的执行的效率和推荐的准确性。(3)基于模型ALS的推荐算法是一个离线算法,缺乏实时性的特点,无法准确评估新加入的用户。在本文中,对于不同的参数加入不同的权重,对目标函数进行优化,将ALS的推荐算法结合Spark平台并行化,在新的目标函数下,解决了实时性,提供了准确率和快速性。
基于协同过滤的推荐算法研究
这是一篇关于推荐系统,协同过滤,ALS,受限玻尔兹曼机的论文, 主要内容为推荐系统作为用户和信息的连接纽带,发挥出了巨大的作用。协同过滤作为推荐算法中应用最为广泛、最为成功的算法之一。本文将研究重心放在协同过滤算法上,主要是解决协同过滤面临的两大问题:数据稀疏、推荐准确度低。提出了对传统的协同过滤算法的改进方法以及基于受限玻尔兹曼机的协同过滤算法的改进,主要完成以下工作:1、为了提高目前协同过滤算法的推荐准确度,在基于内存的协同过滤中提出了新的相似度计算方法以及考虑评分预测方法对模型的影响,即均方差(MSD)相似度计算和4种不同评分预测方法,并在实验中验证了该模型推荐准确度有一定提升。2、矩阵分解能够有效地解决数据稀疏的问题,因此在本文中分析传统的基于奇异值分解的协同过滤算法,还引入了基于交叉最小二乘的协同过滤(ALS)。并利用Spark分布式平台进行实验,考虑模型各参数对于模型效果的影响,以及算法的比较。3、将深度学习与推荐系统结合起来,分析了多种基于受限玻尔兹曼机的协同过滤算法,在此分析基础上,提出了改进的融合的实值RBM模型,借助python语言中的Tensorflow框架进行验证。实验结果表明,在一定程度上提高了预测精度。
基于Spark的推荐系统的研究
这是一篇关于推荐系统,协同过滤,Spark,ALS,准确性的论文, 主要内容为在当今时代互联网的飞速发展,面对互联网中大量的数据,如何从数据中发掘出对用户有价值的信息是具有重大意义的。推荐系统是一种从用户的行为表现的数据中为用户寻找出其感兴趣的信息的一种应用。其应用在多个领域包括电子商务,音乐和视频等多个门户。其中,推荐算法作为推荐系统中实现数据挖掘的重要的组成部分,但是随着用户和商品的增长,数据量也大幅度增长,仍然存在数据的稀疏性问题,系统预测不准确的问题。传统的基于单机的推荐算法需要耗费大量的时间,这并不能符合当今的商业时代的需求,解决这一问题需将单机的算法进行并行化实现。Spark作为一个基于内存的分布式的计算框架,特点是进行迭代式的运算。本文主要研究了推荐系统中的两种推荐算法包括基于邻域的推荐算法和基于模型的推荐算法,针对以上提到的准确性,数据稀疏性的问题等,将算法进行改进,并将在Spark平台上并行化实现和优化。主要包括以下三个方面:(1)针对基于用户的协同过滤算法存在用户-评分矩阵数据稀疏的问题,引入了基于用户的属性的特征相似度,在计算本文的用户相似度的情况下,将传统的用户的协同过滤相似度和用户的属性的特征相似度结合,通过此来降低的评分的数据的稀疏性,在Spark平台并行优化后的算法,对实验的结果进行分析,提高了算法的执行的效率和推荐的准确性。(2)针对基于物品的协同过滤算法在冷启动和预测准确率不理想的问题,引入了基于物品的属性的特征相似度,在计算本文的物品相似度的情况下,将物品的协同过滤相似度和物品的属性的特征相似度结合,通过此来缓解冷启动带来的计算相似度的问题,在Spark平台并行优化后的算法,对实验的结果进行分析,提高了算法的执行的效率和推荐的准确性。(3)基于模型ALS的推荐算法是一个离线算法,缺乏实时性的特点,无法准确评估新加入的用户。在本文中,对于不同的参数加入不同的权重,对目标函数进行优化,将ALS的推荐算法结合Spark平台并行化,在新的目标函数下,解决了实时性,提供了准确率和快速性。
大数据平台下的电影推荐系统研究
这是一篇关于Spark,ALS,协同过滤,遗忘函数,矩阵分解的论文, 主要内容为如今,人们日常生活的方方面面都有互联网的痕迹。人们享受着网络带来的信息和便利的同时,也产生了大量的数据,并且这些数据的量与复杂度都正在持续加大,其中带来的“信息过载”问题越来越明显。在这个信息过载的时代,如果我们能从大量数据中挖掘出有关用户爱好的信息,将大大增加用户的黏性,为用户带来便利的同时也会产生巨大的社会和经济价值。推荐系统是一种从用户历史行为表现的数据中为用户寻找其偏好信息的一种应用,涉及到音乐、电影、购物、阅读等多个领域。其中,推荐算法是推荐系统中实现主要功能的核心部分。然而,采用传统推荐算法的推荐系统在数据量过大的情况下存在数据稀疏、系统预测不准确等问题。针对上述叙述的问题,以往学者在推荐算法中引入时间遗忘函数,但是忽略了用户对远期信息持续关注,遗忘衰减会得到缓解,远期信息的影响将得到改善的情况。因此,本文采用综合权重和矩阵分解模型相结合的协同过滤算法构建电影推荐系统。首先把矩阵分解推荐模型与改进的时间遗忘函数权重进行结合,介绍了一种结合时间遗忘函数的矩阵分解推荐算法。其次,将电影的类型特征权重与时间遗忘函数权重进行组合计算,得到综合权重后,对原始用户—电影评分矩阵进行加权、标准化后,得到加权评分矩阵,并将其代入矩阵分解协同过滤算法。利用大数据计算框架Spark进行矩阵分解与ALS(交替最小二乘)优化。然后利用Web前端框架Django编写前端页面,对原始电影信息与相关推荐信息进行页面展示,提升用户体验。最后利用相关指标对该推荐系统进行准确性评估,结果表明推荐误差较小且在合理范围之内,说明该推荐准确、有效。
基于用户行为的个性化推荐算法研究
这是一篇关于隐式反馈,协同过滤算法,ALS的论文, 主要内容为随着互联网的不断发展,数据过载问题日益明显,用户很难从海量网络数据中获取自己感兴趣的部分,为了解决这类问题,产生了搜索引擎和推荐系统两种工具,其中推荐系统有着更多的新颖性和主动性,因此更受学术界和企业界的关注。一个好的推荐算法可以根据用户的历史数据,准确地分析出用户偏好,进而产生独一无二的推荐列表。为了直观获取用户喜好,大部分的推荐算法采用显式评分进行分析,但这类数据一般不容易获取并且不能保证真实性,在构建用户-商品评分矩阵时往往会产生较为稀疏的矩阵。实际上,用户在浏览网站时,会产生大量的隐式反馈数据,这些数据能够真实表现出用户的行为轨迹。但隐式反馈数据中存在许多无效或异常数据,在进行推荐时并不能直接的体现出价值,因此不能被很好的利用。针对以上的问题,本文提出了一种基于用户行为的个性化推荐方法,缓解了推荐过程中产生稀疏矩阵的问题,提出了隐式反馈数据转换为显示评分的方法。本文研究的主要内容如下:(1)利用用户隐式反馈数据进行推荐,为了减少异常行为带来的干扰,通过基于规则的方法对数据进行过滤,提取出正常行为。将用户的行为进行量化表示,准确的挖掘出行为和兴趣之间的隐含关系。一般算法会根据行为的重要性,主观的给行为赋予分数,但这种方法比较粗糙,可解释性较差。本文提出了一种衡量用户兴趣度与用户行为关系的模型,使用层次分析法和熵权法对用户行为进行赋权,可以有效的将隐式反馈数据转换为显示评分数据,提高了推荐准确度。(2)由于用户与用户之间具有较大的性格差异,在数据上体现的是用户各行为与购买行为的比例会存在差异,因此本文融入了不同行为的购买率,对转换后的评分数据进行修正,使用协同过滤算法进行推荐能够增大相似用户之间的匹配度,本算法在Spark平台中进行实验,实验结果表明提高了推荐结果的准确度。
基于ALS算法的推荐系统研究
这是一篇关于ALS,Spark,协同过滤,组合推荐算法的论文, 主要内容为大数据时代背景下,网络产生的数据爆炸式增长,用户想获取符合个性化需求的数据信息变得十分困难。推荐系统是解决这一问题的有效方案,但是传统的数据存储和计算无法满足对海量数据的处理,所以推荐系统应运行在分布式的环境上。分布式环境部署的Spark使用内存对计算中间结果进行存储,可以快速的执行迭代算法,计算性能优秀,是推荐系统首选的计算框架。推荐算法是推荐系统研究的重点,但传统的ALS推荐算法忽略了经过时间的推移用户兴趣的会发生偏移的问题和物品特征出现频率会影响推荐结果的问题,导致推荐误差的增大。另外,传统的计算框架Hadoop Map Reduce也无法满足推荐系统实时性的需求,仅使用单一的推荐算法也无法兼顾准确性和实时性。针对以上问题,本文首先深入研究了Spark的架构和底层原理以及常见的推荐算法,然后针对传统ALS算法的问题和单一推荐算法问题,提出了改进ALS算法和改进的基于物品的协同过滤推荐算法的组合算法。在ALS算法改进方面,本文将时间因子和物品特征因子加入ALS算法中进行融合加权并通过Spark计算框架进行实现,对比了改进前后ALS算法的RMSE变化。在基于物品的协同过滤推荐算法方面,使用修正的余弦相似度代替传统的余弦相似度,并增加归一化因子改进相似度计算,均衡了热门商品和非热门商品间的相似度,最后对比了算法改进前后准确率和覆盖率的变化。在组合推荐算法设计方面,为了解决单一推荐算法的不足,本文分析了各个算法的优点和不足,将ALS算法和基于物品的协同过滤算法结合使用,设计了离线和实时结合的组合推荐算法。实验表明,在ALS算法改进方面,改进后ALS算法的RSME比改进前降低了6.2%,推荐结果的误差更低。在基于物品的协同过滤推荐算法改进方面,改进后的算法比改进前准确率提高了1.68%,覆盖率提高了9.28%,覆盖率有较为明显的增长。在组合推荐算法设计方面,组合后的推荐算法的RMSE比本文改进ALS算法低3.9%,比本文改进基于物品的协同过滤算法低17.4%,组合推荐算法在算法改进基础上进一步降低了推荐误差。对比前人改进的算法,本文提出的改进ALS算法和组合推荐算法RMSE更低,在减少算法的推荐误差方面有进一步的提升。
大数据平台下的电影推荐系统研究
这是一篇关于Spark,ALS,协同过滤,遗忘函数,矩阵分解的论文, 主要内容为如今,人们日常生活的方方面面都有互联网的痕迹。人们享受着网络带来的信息和便利的同时,也产生了大量的数据,并且这些数据的量与复杂度都正在持续加大,其中带来的“信息过载”问题越来越明显。在这个信息过载的时代,如果我们能从大量数据中挖掘出有关用户爱好的信息,将大大增加用户的黏性,为用户带来便利的同时也会产生巨大的社会和经济价值。推荐系统是一种从用户历史行为表现的数据中为用户寻找其偏好信息的一种应用,涉及到音乐、电影、购物、阅读等多个领域。其中,推荐算法是推荐系统中实现主要功能的核心部分。然而,采用传统推荐算法的推荐系统在数据量过大的情况下存在数据稀疏、系统预测不准确等问题。针对上述叙述的问题,以往学者在推荐算法中引入时间遗忘函数,但是忽略了用户对远期信息持续关注,遗忘衰减会得到缓解,远期信息的影响将得到改善的情况。因此,本文采用综合权重和矩阵分解模型相结合的协同过滤算法构建电影推荐系统。首先把矩阵分解推荐模型与改进的时间遗忘函数权重进行结合,介绍了一种结合时间遗忘函数的矩阵分解推荐算法。其次,将电影的类型特征权重与时间遗忘函数权重进行组合计算,得到综合权重后,对原始用户—电影评分矩阵进行加权、标准化后,得到加权评分矩阵,并将其代入矩阵分解协同过滤算法。利用大数据计算框架Spark进行矩阵分解与ALS(交替最小二乘)优化。然后利用Web前端框架Django编写前端页面,对原始电影信息与相关推荐信息进行页面展示,提升用户体验。最后利用相关指标对该推荐系统进行准确性评估,结果表明推荐误差较小且在合理范围之内,说明该推荐准确、有效。
基于Spark的混合协同过滤推荐系统的研究与实现
这是一篇关于推荐算法,协同过滤,混合推荐,ALS,Spark平台的论文, 主要内容为如今,随着互联网的开放式发展,互联网中的信息已经开始指数级的增长,信息过载的问题愈发严重。如何在大量的信息中筛选出用户需要的信息成为当今互联网急待解决的问题。推荐系统就是在这样的背景下诞生的,推荐系统能帮助用户挖掘海量数据里深层次潜在的信息,帮助用户快速获取需要的内容,从而被广泛应用。随着推荐系统的发展,其核心的推荐算法也层出不穷。因此本文选择推荐算法作为研究的重点之一。首先,分析了在推荐算法中比较成熟的协同过滤。然而协同过滤技术中,由于其过度依赖于用户项目的评分矩阵,在有效数据不足的条件下,由于数据稀疏推荐系统的准确度会随之下降。本文为解决协同过滤技术中的评分矩阵的稀疏性问题,采用了基于ALS的矩阵分解算法,将稀疏的评分矩阵分解为稠密的特征矩阵,从而解决了矩阵稀疏性的问题。另一方面,由于单个推荐算法在面对复杂的应用环境时,推荐效果往往无法让人满意。本文采用结合了用户协同过滤与项目协同过滤的混合协同过滤推荐算法,通过动态调整算法权重,保证算法的即时性。通过实验的比较可以得出,本文设计的混合推荐算法对比传统的协同过滤具有较好的准确度。其次,对目前混合推荐算法的特点进行分析,虽然混合推荐有较好的准确性,但是算法过程的融合导致算法复杂度增加。因此本文将推荐算法与Spark分布式平台进行了结合,将推荐算法中复杂的相似度计算过程进行并行化,提高了算法的计算效率。通过Movie Lens的数据集合实验证明,混合推荐算与Spark分布式平台具有比较好的并行性能,同时也凸显了Spark分布式平台的优势。最后,通过深入的研究了推荐算法和分布式平台的相关知识后,针对协同过滤的问题提出了并行混合协同过滤推荐算法,并将算法与Spark分布式平台相结合,提高算法运算效率。实验证明,混合推荐算法与Spark分布式平台的结合具有较好的推荐质量和较高的运算效率。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设工坊 ，原文地址：https://m.bishedaima.com/lunwen/56343.html
