结合网络嵌入和协同过滤的推荐方法
这是一篇关于推荐系统,协同过滤,node2vec,隐语义模型的论文, 主要内容为随着时代的发展,互联网科技发展突飞猛进,互联网和大数据带来的问题是由于信息过载而导致信息利用率低。在这种情况下,对于推荐系统的研究逐渐吸引人们的目光。推荐系统可以向用户推荐他们可能比较感兴趣的东西,通过进一步探究用户的行为,了解不同用户的个性化需求,把大量的长尾商品推荐给可能对其感兴趣的用户,不仅节省了用户的时间成本,同时也为使用推荐系统的网站本身带来了更多的利益,甚至可以推荐给用户一些他们感兴趣但是很难发现的商品。推荐系统发展至今,从最初的基于内容的模型到基于协同过滤的模型,再到混合前两种方法的混合模型,大致有这三类技术方法。其中的协同过滤算法是推荐算法中最经典、应用最广的类型,是目前最为主流的推荐技术,其主要优点是简单易于理解、容易实现且具有良好的推荐效果,协同过滤算法需要的是用户与项目之间的交互行为数据,在这些数据中发掘出用户之间、项目之间潜在的相似性,并基于这种群组的相似性完成推荐。协同过滤算法不仅在学术界有着大量的研究,在工业界也已经有了许多广泛的应用。协同过滤方法主要有两种,一种是基于邻域的方法,其中包括基于用户的方法和基于项目的方法,另一种是基于模型的方法,包括矩阵分解,隐语义模型以及近年来随着深度学习的火热而产生的一些基于深度学习的协同过滤算法。在推荐系统的发展中,也有许多针对上述方法改进的算法被提出,主要是通过更好地利用一些外部信息例如用户属性、标签等来加强推荐的效果或是解决冷启动问题,外部信息的获取往往也需要额外的成本。本文的研究还是只着眼于用户与项目之间的交互行为数据之上,因此在本文的研究中暂时不考虑冷启动问题。在没有外部信息的情况下,用户与项目本身的特征属性难以被挖掘,信息主要来源于用户与项目两者之间产生的诸如购买等的行为,这一特点与节点主体的信息量少,信息量集中在节点主体之间的关联上的复杂网络相似。传统协同过滤方法在计算中过于直接简便,难以建立用户与项目之间间接、深层次的联系。本文通过构建复杂网络后通过网络嵌入方法来对数据进行处理,深层次挖掘用户与项目之间的信息来改进传统协同过滤方法。通过用户与项目之间的交互行为数据,即用户的历史行为,分别构建以用户为节点的网络和以项目为节点的网络,之后利用网络嵌入方法node2vec这一被认为是迄今为止对网络节点编码最高效、最精准的方式来对网络节点进行编码。在基于邻域的协同过滤方法中,可以通过节点(用户或项目)的向量表示来计算相似度替代原来的相似度计算方法;在隐语义模型中,本文在矩阵分解式中显式地加入了节点(用户或项目)的向量表示。本文的实证探究选取了movielens电影评分数据集和腾讯微博用户关注数据集。其中movielens是一个显式反馈数据集,包含用户对于电影的具体评分,我们使用它来比较评分预测任务中node2vec结合协同过滤方法与传统方法的差异;腾讯微博用户关注数据集是一个隐式反馈数据集,其中只包含用户的关注行为,我们使用它在Top N推荐任务中对比方法。通过实验探究,本文的改进方法在显式反馈中效果略差于传统方法,其原因可能是网络边权重的构造未能充分利用信息;在隐式反馈中对比传统方法有一定的提升。考虑到本文并没有对node2vec的参数调整有过多研究,因此可以认为本文结合node2vec的协同过滤方法还是有效的。本文的实证结果表明在协同过滤中通过构建复杂网络,用网络嵌入方法获取节点的向量表示来结合传统的协同过滤方法进行推荐是可行的。
基于机器学习的定增项目精准营销研究
这是一篇关于定向增发,推荐系统,隐语义模型,精准营销,机器学习的论文, 主要内容为近年来,伴随着2020年定向增发市场改革新规的落地,定向增发项目供给和投资者购买需求都在迅速增长,面对数以千计的定向增发参与投资者,券商作为中介机构很难在项目启动短暂的窗口期迅速找到足够数量的参与者,因此本文为缩短项目与投资者匹配的时间成本,提出了将推荐算法应用于定向增发一级市场的构想,面对市场上极具长尾效应的参与定向增发的投资者,利用互联网中的推荐算法迅速锁定并找到适配的投资者,使投资者获得其感兴趣的项目,并迅速为发行人解决再融资问题。本文针对定向增发项目寻找目标投资者的问题,提出了以下方法:方法一:利用推荐效果好、一定程度上克服数据稀疏、离线计算速度快的隐语义模型建模,根据投资者的历史购买信息,预测投资者对定增项目的兴趣点。隐语义模型通过构建隐因子,对定向增发项目进行分类,以项目类别为基础学习并预测投资者的兴趣。方法二:融入定向增发的项目属性结合隐语义模型构建混合推荐模型。尽管隐语义模型的推荐效果较好,但却存在冷启动问题,定向增发的项目经常会有新的项目进行增发,将推荐系统应用在定增市场发行的关键之一就是要解决新的定增项目出现时的冷启动问题。融入定向增发项目的属性信息能够通过计算项目与项目之间的相似度,依据定向增发项目的内容进行推荐,解决冷启动问题。同时本文设置了项目属性与隐语义模型两种不同的结合方式——预测结果相结合和算法相结合,对比两种混合方式的模型效果。实验中,我们首先进行隐语义模型的隐因子实验,通过不断增加隐因子个数寻找模型准确率最高的隐因子数量,得到最优的隐因子个数为4。其次,通过项目的相似度实验,寻找定向增发项目行业属性相似度和公司属性相似度的最优权重以计算得到定向增发项目之间的相似度。最后通过对比三种模型的推荐效果,我们发现,基于预测结果相结合的融入项目属性的隐语义模型效果最好,该模型在解决了新定增项目带来的冷启动问题的同时,其准确度和覆盖率等指标相比于隐语义模型均具有显著提高,而基于算法相结合的融入项目属性的隐语义模型没有明显提升效果,其推荐效果与改进前的隐语义模型基本持平。因此,基于预测结果相结合的融入项目属性的隐语义模型在定向增发市场中精准定位目标投资者相比于其它两个模型效果更好。不同于其它有关金融产品销售或推荐系统的研究,本文与常见的统计方法不同,首先基于个性化推荐技术,利用机器学习方法对投资者的历史行为进行建模,并融入定增项目的属性特点,生成了反映投资者综合偏好的项目列表,增强了模型预测的准确性,推荐效果较好。其次,本文将推荐系统运用在金融行业一级市场的投资领域,结合基于机器学习算法的优势有效克服了应用上的漏洞与不足,目前鲜少有学者进行相关的金融一级市场投资方向研究。在金融领域的个性化推荐运用中,当前的研究范围主要集中在商业银行理财产品、保险公司产品、证券市场中基金和股票的个性化推荐。作为金融市场中结合互联网技术新的尝试,由于研究条件和自身水平的限制,本文仍存在以下局限性:首先,本文在构建项目属性的过程中,只考虑了两个较为重要的因素——公司属性和行业属性,而投资者在决策过程中也会考虑市场环境、价格因素和融资目的,后续的研究中可以将这些指标融入项目特征中。其次,本文基于内容的聚类方法中,只选择了数值型指标计算项目的相似度,并没有作文本特征提取,后续的研究可以考虑加入文本特征。最后,本文的隐语义模型和融入项目属性改进后的混合模型都是静态的推荐模型,在实际的定增市场中,投资者的投资偏好是随市场环境、投资风格不断变化的,因此后续的研究可以构建一个考虑时间因素的动态推荐模型进行优化。
基于Spark平台推荐算法的研究与实现
这是一篇关于电影推荐,隐语义模型,协同过滤,推荐算法的论文, 主要内容为21世纪因特网不断发展,数据信息与日俱增,信息过载的问题日益严重。用户想要找到合乎自己心意物品的难度越来越大。针对这种信息过多的问题,推荐系统是一个很好的解决办法。隐语义模型推荐算法和基于物品协同过滤算法的提出并在推荐系统中的应用,有效提高了传统推荐系统推荐的准确率。但是传统的隐语义模型存在一定的冷启动、数据稀疏的问题。对于新用户,推荐系统无法产生推荐;其次用户评分矩阵数据缺失,导致预测的准确率很低。基于物品的协同过滤算法在进行实时推荐时消耗时间久,无法应用于实时推荐。同时这两种算法都没有考虑到时间因素对用户兴趣的影响。针对上述问题,本文基于Spark平台对上述两种推荐算法进行改进与实现,论文的主要研究工作体现在如下几个方面:首先,为了解决传统隐语义模型冷启动和数据稀疏的问题,本文提出一种融入用户信息和时间因素的隐语义模型。该模型将新用户注册时提供的信息融入隐语义模型中,同时在求解隐语义模型前,通过时间函数重新修正用户评分矩阵。然后使用Movie Lens数据集在Spark平台上进行实验,实验证明改进的隐语义模型能实现更加准确的推荐。其次,对于传统的基于物品协同过滤算法应用于实时推荐时计算时间久的问题,本文对传统的基于物品的协同过滤算法进行改进,通过分解物品相似度矩阵,综合用户对物品的评分并引入奖惩函数和时间权重,计算出物品的推荐优先级,一定程度提高实时推荐响应速度的同时也有一定的准确率。最后,本文基于上述两种改进算法,以改进的隐语义模型推荐算法作为离线推荐算法,以改进的基于物品的协同过滤算法作为实时推荐算法,设计并实现一个基于Spark的电影推荐系统,同时对系统进行功能测试,系统响应准确,推荐效果良好。
基于改进融合模型的电影推荐系统的研究与实现
这是一篇关于隐语义模型,k近邻模型,信息熵,兴趣变化,年龄分组,B/S架构的论文, 主要内容为随着互联网技术的广泛应用,人们被海量信息淹没,从而很难有效的找到自己所需要的内容,面临着信息过载带来的诸多问题。在电影视频网站中此类问题尤其明显,人们很难快速找到自己可能感兴趣的电影信息,并在寻找电影的过程中耗费了大量的精力。推荐系统技术通过直接向用户推送可能感兴趣的内容解决了该问题,并弥补了搜索引擎的不足,该技术正在受到越来越多学者以及工业界的关注。首先,介绍了协同过滤算法的核心理论及其实现,其主要分为基于邻域的协同过滤和基于模型的协同过滤。基于邻域的协同过滤主要通过评分矩阵计算相似度,再通过邻居集预测评分形成推荐,但是矩阵稀疏性、用户兴趣变化、冷启动是该技术很难解决的问题。基于模型的协同过滤,如聚类模型、贝叶斯网络模型等通过机器学习的方法解决了以上部分问题,并得到了更好的预测准确性,但同时也存在自身的不足。其次,介绍了奇异值分解的原理与方法,并针对其需要存储空间大、效率低等问题,引出了基于梯度下降的隐语义模型。此后在原始隐语义模型模型中加入了偏置项,并通过实验与原始隐语义模型进行了RMSE的比较。从多角度将隐语义模型与基于邻域的协同过滤的特点与局限性进行了对比。然后,提出了一种改进的k近邻模型,针对相似度单一问题,提出基于信息熵的项目属性相似度与原始余弦相似度进行线性加权融合。针对不同用户兴趣变化的问题,以艾宾浩斯记忆曲线为理论基础,设计出一个兴趣衰减权重,并将用户按年龄分组设置衰减系数,从而强化近期行为对推荐结果的影响。利用改进的k近邻模型对biasedSVD隐语义模型进行误差修正,实现两种模型的有效融合。通过在movielens数据集上进行试验对比,我们发现改进融合模型拥有较高的预测准确性。最后,应用了改进的融合算法开发了基于B/S架构的电影推荐系统,该系统应用JSP以及Servlet技术实现了个性化推荐、热门电影推荐、用户打分、电影管理等基础功能,达到了针对不同用户个性化推荐的目标,证实了算法的实用性。
基于用户行为和数据的商品推荐系统的设计和实现
这是一篇关于推荐系统,协同过滤,隐语义模型,混合推荐的论文, 主要内容为互联网时代,网络信息量在各个领域呈爆炸式增长,信息过载现象十分严重,尤其在电商行业,随着人们购物习惯向互联网上转移,各类网购平台如雨后春笋般接连出现得到了蓬勃发展的机会。但是作为消费者的我们面对电商平台上繁多的商品分类和茫茫大海般的商品数量往往会有不知从何下手的烦恼,在这种情况下,如何使消费者更快的发现自己感兴趣的商品成为了电商平台关注的问题。通过推荐系统对用户行为和数据的记录和分析,可以更清晰的挖掘用户自身没有察觉的商品购物偏好和习惯,对消费者进行商品的个性化推荐,进一步提高平台的成交量。本文设计的推荐系统使用了多种算法相结合,全面覆盖实时和离线推荐,以达到用户所得到的推荐商品的个性化和准确性,同时减少了商品所面临的冷启动问题。本文主要从以下两个方面对推荐系统进行研究:第一,整个离线环节的计算都建立在spark中,通过spark session在内存中计算的特点,提高程序的计算效率。在算法的选择上,通过比较ALS算法以及TFLDF算法的MAE和RMSE,选择误差更小的ALS算法作为离线算法,ALS算法所得出结果的MAE和RMSE分别为0.8613和0.9196,以获取更准确的推荐数据,将计算得到的商品评分预测以及商品相似度矩阵写入Mango DB,并将预测评分最高的前六款商品作为离线推荐结果。第二,在实时计算方面,通过flume采集用户度商品的评分情况,实时更新推荐结果到kafka中进行消息的缓冲,再将得到的实时数据通过sparkstreaming进行计算,当用户对商品进行评分后,计算模块对数据库中用户的评分数据以及商品相似度高的商品数据进行提取,按照离线计算中得到的相似度数据,根据商品优先级,推送到前端的商品推荐页面实时更新商品种类。本文搭建的推荐系统通过分布式搭建确保运行的稳定性,同时符合用户喜好进行较为精准的推荐,提高了用户在选购商品时的体验。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://m.bishedaima.com/lunwen/46156.html
