Spark下基于多特征混合的协同过滤算法推荐系统的设计与实现
这是一篇关于推荐系统,协同过滤,信任模型,兴趣模型,Spark的论文, 主要内容为在互联网技术和大数据技术迅速发展的背景下,推荐系统已经成为人们获取信息过程中一种重要的信息过滤机制。协同过滤推荐算法(CollaborativeFiltering,CF)是推荐系统领域运用最广泛最成功的技术之一,但是在大数据场景下存在用户评分数据稀疏、扩展性差的问题,造成推荐精度低及实时性差等缺陷。为此,本文以协同过滤思想为基础,通过深入挖掘用户行为和项目中的多种特征信息,提出两种推荐方案,并基于Spark平台设计实现推荐系统。主要的研究工作包括下几方面:(1)提出一种融合用户信任度的协同过滤算法。该方法基于社交网络中信任模型相关理论引入用户活跃度、可靠度等特征构建用户信任模型,采用自适应权重的方式综合用户间信任关系和相似关系作为推荐的权重来寻找最近邻居集,缓解数据稀疏性问题,并在此基础上设计一种基于树型结构的用户行为特征聚类方案,提升查询效率,从而降低在线运算数据的规模,改善算法扩展性。(2)提出一种基于项目兴趣点特征的协同过滤算法。该方法将项目划分至不同的兴趣点下,引入项目流行度、评分信息等特征动态挖掘并构建用户、兴趣点和项目三者之间的关系,该方法的主要特征是基于用户间对兴趣点的偏好特征而不是用户间共同评分的项目来寻找最近邻居集,可有效缓解数据稀疏性的问题,并且结合隐语义模型给出的预测评分,综合考虑共性和个性两方面对项目的评价给出最终推荐结果,提高推荐精度。(3)在上述工作的基础上,基于分布式并行框架Spark设计实现一个完整的、灵活可配置的、适合在大数据场景下使用的推荐系统。该系统中主要包含了五个模块,分别是数据仓库模块、离线计算模块、推荐引擎模块、配置解析模块和配置模块,各个模块内高内聚,模块间低耦合,保证系统的可扩展性和可维护性,便于进一步开发。最后,实验论证本文设计实现的推荐系统在推荐准确度和扩展性方面都取得了良好的效果。在MovieLens数据集上的实验结果表明,相较于传统协同过滤算法,上述(1)和(2)中提出的两种协同过滤算法的准确率分别提高了18.7%和9.5%,召回率分别提高了11.3%和6.2%。计算性能方面,(1)和(2)两组算法的平均耗时分别为1.78秒和0.828秒,远低于传统协同过滤算法平均所需的9.52秒,并且通过增加计算节点的方式可以获得更高的加速比,进一步提升计算效率,有效的缓解了扩展性差的问题。
基于用户兴趣模型的图书推荐系统的研究与实现
这是一篇关于图书管理系统,推荐系统,数据挖掘,兴趣模型,用户相似度的论文, 主要内容为当前的图书管理系统中保存有大量的用户历史数据,引入推荐系统可以通过分析用户的历史操作信息为人们提供个性化的推荐,能够有效地降低用户获得需要图书资源的时间。但在推荐系统中存在着数据稀疏性的问题,用户之间的相似度计算的结果不能满足推荐系统的要求,导致推荐的准确度较低。针对以上问题,本文通过对用户操作的日志信息及操作数据的分析计算,得到用户的兴趣度,通过改进用户相似度的计算来提高推荐的准确度。本文主要进行了以下的工作:(1)提出了一种基于用户兴趣模型的推荐方法,首先通过收集历史搜索信息和数据库中的用户操作数据,对用户的浏览、检索等隐性数据及评分、借阅等显性数据进行分析,深入发掘用户对图书分类属性的兴趣程度,在计算用户相似度的过程中,把用户对图书分类属性的兴趣相似度和用户的评分的相似度进行加权计算,通过平衡因子β来调节这两个参数之间的权重,得出用户相似的集合。然后进行相似的用户对目标用户未浏览过的图书进行预测的评分,并把预测评分高的图书推荐给目标用户。最后设计了推荐算法的仿真实验,验证了在数据稀疏的情况下,该推荐算法能够大大提高推荐的准确程度。(2)设计了一套基于用户兴趣模型的图书推荐系统,整套系统由用户管理、图书管理、借阅管理、系统管理、评价管理、推荐服务登模块组成。本文首先对系统的需求和架构进行介绍,随后在详细设计部分将推荐服务模块分为兴趣模型构建、数据收集、数据分析、产生推荐四个步骤进行详细说明。推荐服务的主要功能是通过对日志文件和数据库数据的分析,发掘用户的兴趣爱好,并计算用户的相似度,找到近邻用户并预测用户评分,从而产生推荐的图书信息。最后实现了图书推荐系统,并通过功能测试验证了系统的可用性。
个性化小麦选种推荐系统的设计与实现
这是一篇关于农业数据,个性化,推荐系统,兴趣模型的论文, 主要内容为大数据及大数据技术的发展,为农业的信息化建设提供了有力的支撑与保障。农业大数据是数据领域比较复杂的一项研究,大数据的价值不仅在于数据的体量之大,更在于对数据本身的处理。农业大数据本身具有业务复杂性,多样性等特点。因此,本文在处理农业大数据时,更加注重数据的信息价值获取,并利用大数据技术中的数据分析技术获取数据特征。根据数据的特征,进行基于农业大数据的个性化信息服务推荐,本文旨在单项的从小麦品种出发,设计实现个性化的小麦选种推荐系统。本文的研究,主要进行了以下几方面的工作:(1)个性化推荐算法的研究。根据农业数据信息的复杂性,首先需要对数据进行处理。本文采用了数据处理中的多标签任务,建立基于农业大数据的多标签分类任务。在基于农业数据信息的基础上,采用了改进的Slope One推荐算法,以适应农业大数据的特点形式,解决了在复杂的农业大数据中,可以精准推荐的问题。(2)兴趣模型的研究。本文通过建立长短兴趣库进行模型的设计研究,由“长兴趣”建立固定的兴趣库,用“短兴趣”建立变化的兴趣模型。长兴趣是指用户的注册信息、自定义不变的信息等;短兴趣为不同用户变化的信息,如在某项上的驻留时长、频率等信息。长短兴趣的结合,可以精准确定用户的兴趣目标,达到个性化推荐的目的。并且,其中的“短兴趣”库定期更新模型,解决了用户选择不同导致的个性化推荐不准确的问题。(3)个性化小麦选种系统的设计。基于个性化推荐算法的研究,确定改进的Slope One推荐算法作为本系统的主要推荐算法。同时建立了兴趣模型的研究,为用户的选择作个性化的推荐服务。系统设计了用户信息的管理,模型的设计,个性化推荐设计等几个模块。通过对农业数据的调研和对推荐系统的研究,综合设计了基于农业数据的个性化小麦选种推荐系统,通过测试,可以达到个性化推荐的效果,具有一定的研究价值和实用价值。
基于用户动态兴趣模型的推荐算法研究
这是一篇关于用户动态兴趣,隐式反馈,推荐算法,兴趣模型的论文, 主要内容为传统的推荐算法主要关注如何将用户的兴趣与项目联系起来,大部分没有考虑到用户兴趣的动态性。但是现实生活中用户的兴趣完全可能随着时间的改变而变化。另外,用户的隐式反馈行为也隐藏着用户的兴趣,面对显式反馈数据稀疏的问题,将反映用户兴趣的显式反馈数据与隐式反馈数据结合起来进行推荐,其推荐效果必然优于只单纯使用用户显示反馈数据进行的推荐。基于此,本文对推荐系统中的用户兴趣的动态性和用户隐式反馈行为信息进行了较深入的研究,主要研究工作如下:一是针对当前推荐系统中往往采用的是静态的用户兴趣模型,一旦用户兴趣发生了偏移,就会出现推荐效果差的问题,本文在充分研究用户兴趣随时间变化的基础上提出一种用户动态兴趣模型的建模方法。为了描述时间迁移对用户兴趣的影响,提出使用兴趣漂移模型来更新用户动态兴趣模型。二是针对现有推荐场景中显式反馈数据稀疏的问题,给出一种时间感知的隐式评分模型,利用用户行为发生的时间、行为次数、行为时长、行为完整度等隐式反馈信息来构建用户兴趣模型。三是基于用户动态兴趣模型,构建了基于用户动态兴趣模型的用户协同过滤推荐算法、基于用户动态兴趣模型的项目协同过滤推荐算法。这些算法基于用户动态兴趣模型,能够更好地为用户提供精准的个性化服务。四是针对各种推荐算法都有各自的优势和不足的问题,本文在生成推荐列表时综合各种推荐算法的优势,采用混合推荐算法中的级联法和变换法给出了基于用户动态兴趣模型的混合推荐算法来实现精准推荐,增强用户体验和用户对系统的黏度。最后采用IPTV领域真实的数据集对给出的基于用户动态兴趣模型的三种推荐算法和其他的算法进行了实验对比和分析,实验结果表明本文给出的推荐算法在推荐准确率上有一定的提高,且具有更强的实用性。
基于用户上网数据的电影个性化推荐系统研究
这是一篇关于个性化推荐系统,电影知识图谱,兴趣度,兴趣模型的论文, 主要内容为近十年间,随着互联网逐渐在社会普及,信息爆炸现象日益明显,各行业各领域用户不断为互联网提供信息输送,使得互联网成为一个无所不包、无所不含的信息汇聚体,而互联网用户很难从其中快速地找到契合自己兴趣的信息;每个用户在使用搜索引擎检索信息时,同一个关键字得到的结果是相同的,而用户对信息的需求是多元化和个性化的,因此,传统的同质化的搜索引擎为代表的信息检索系统已不能满足用户千人千面的需求,个性化推荐系统在这种背景下走到了台前。个性化推荐系统通过挖掘用户的历史行为数据,从中提取出与兴趣相关的记录,根据一定的规则算法计算用户的兴趣点,然后主动向用户进行信息的个性化推送,从而解决了信息量大和信息选择困难之间的矛盾。推荐系统通过长期追踪用户历史行为,不断更新与迭代用户兴趣,使推荐的信息始终与用户的兴趣点相贴合,让用户更加方便的获取到自己感兴趣的信息,最终目的是实现针对用户全方位的个性化定制推送。本文讲述了如何构建出完整电影知识图谱的方法,从而可以结构化描述用户行为;同时根据用户的观影行为特征和电影本身的属性,将电影分为独立电影和系列电影,更细粒度的构建电影知识图谱,同时提出了一套发掘电影系列的实现算法。基础数据为用户的上网请求,在不需要用户参与的情况下获得用户的电影兴趣行为,避免了用户主观选择存在的不全面、不方便等问题,通过分析和处理用户的原始上网请求,从中提取出与电影相关的上网数据,然后根据电影知识图谱将用户上网行为一一映射为用户兴趣行为,达到提取用户兴趣的目的。基于TF-IDF算法计算用户各维度元素兴趣度,构建向量形式的用户兴趣模型,然后根据用户对某电影各要素的兴趣度,计算出用户对该电影的总兴趣度。最后,通过实验分析,证明了本文所提方案的高召回率和准确率。
基于双语图书本体匹配的推荐系统的研究与实现
这是一篇关于中英文图书本体,本体匹配,协同过滤,混合推荐系统,兴趣模型的论文, 主要内容为随着互联网技术发展日新月异,互联网上每天都产生大量的信息,在这样的背景下,用户越来越难地获取他们想要得到的信息,传统web站点的这种大众化的运营模式,已经无法满足不同背景下用户的个性化需求。为了解决这一问题,个性化推荐系统应运而生。在个性化推荐系统中,协同过滤算法是应用最为广泛的一种算法,它根据用户对项目的评分或者用户与项目之间的关键字相似度进行推荐,存在着信息结构化程度低、语义缺乏、信息利用不充分等问题。为了解决这一问题,本文提出一种基于本体的混合推荐系统模型。将本体引入到推荐系统中,使用OWL语言对用户和项目信息进行描述,使用户和项目具有语义信息的同时,提高信息的结构化水平。在推荐过程中,通过分析用户行为信息并考虑时间上下文,以此来提高推荐的质量。基于以上现状,本文的研究工作主要关注如何利用本体技术提升模型的准确率、覆盖率,如何更精准的刻画用户兴趣偏好。具体来说,主要包括以下三点内容:(1)设计了基于时间上下文的用户兴趣模型。将用户的行为转化成用户对商品的兴趣程度,同时引入了上下文时间的概念,用经典的时间衰减函数来对比较久远的用户行为进行降权,从而可以更好的刻画用户的画像,为更精准的推荐打好坚实的基础。(2)设计了基于双语图书本体的混合推荐系统模型。将经典的协同过滤算法和基于双语图书本体匹配的算法的推荐结果进行融合。这两个算法各有优缺点,协同过滤算法有冷启动问题,对于用户评分数据较少时,推荐不准确,且推荐结果集中在热门商品,而基于双语图书本体匹配的推荐算法却可以覆盖很多的商品。通过我们设计的混合策略,将这两个算法推荐结果进行融合。实验表明,混合后的推荐算法,它的准确率和覆盖率都要高于单一的一种算法。(3)设计并实现了一个基于上述混合模型的图书推荐系统。该系统是在Eclipse环境下使用Java技术实现的。本文先是对推荐系统的需求进行仔细的分析,之后对系统架构、功能模块和数据库进行详细的设计,最后对系统的主要功能进行了描述,并展示了系统的主要界面,并对系统进行了功能测试。
高质量个性化论文推荐系统研究
这是一篇关于高质量论文,个性化服务,论文推荐,兴趣模型的论文, 主要内容为个性化推荐系统是一种新型的以用户为中心的主动的知识获取平台。现阶段由于反映用户兴趣模型的数据不够充分真实,待推荐论文的质量没有保证,不能为用户发现新的兴趣,导致现有的论文推荐系统普遍存在低效性和盲目性的问题。针对这些问题,提出了高质量个性化论文推荐系统,从三个方面解决了存在的问题。 首先,提出一种论文质量的评价方法,该方法能够很好的解决目前论文推荐系统对论文质量缺乏控制的问题,这种论文质量评价方法综合考虑了论文所在期刊的影响力因子、论文作者的职称、论文的基金资助情况、论文的引用情况,比以往的单一的评价标准更客观、公正,更能反映论文的真实质量。 其次,提出了以用户发表的学术论文作为兴趣模型的数据来源。解决了以往的推荐系统中获取用户的兴趣数据存在的浪费用户宝贵的科研时间、获取的用户兴趣数据质量没有保证的问题,以用户发表的文章作为用户的兴趣数据是由研究人员的科学研究方向相对稳定的特性决定的。 最后,提出了一种能够为用户推荐与自身研究领域相关的最新研究方向的算法。解决了基于内容的推荐算法只能推荐与用户兴趣相似的内容,不能为用户发现新的主题的问题,该方法是基于引用关系的推荐算法,能够为用户推荐与其研究领域密切相关的、最新的研究方向,提高用户对本推荐系统的满意度。 实验证明,高质量个性化论文推荐系统较好的解决了上述问题,提高了论文推荐系统的推荐质量。
基于混合过滤的推荐系统开发研究
这是一篇关于推荐系统,兴趣模型,混合过滤,相似性的论文, 主要内容为随着全球信息化进程的推进以及互联网的普及,Internet逐渐成为人们获取新信息的主要途径,Web上的资源逐渐呈现爆炸式增长趋势,用户提取有价值的信息比较困难,一些不被关注的用户信息很容易成为孤岛信息,由于当下的电子商务推荐系统普遍存在推荐质量差、推荐效率低和自动化程度低的问题。因此,个性化推荐系统的出现有效的解决这些问题,个性化推荐系统分析用户的购买行为和兴趣特点,向用户推荐潜在的感兴趣和令人满意的信息,提高用户正确决策能力。 本文主要阐述了个性化推荐技术,其中主要阐述了基于内容的过滤技术与基于协同的过滤技术,通过比较两者的优势和劣势,采用结合两种推荐技术进行混合推荐的方法,提出一个基于混合推荐的框架模型。 在推荐系统的研究中,兴趣模型和用户聚类一直是人们研讨的热点,而本文特别关注用户兴趣模型。研究现有的经典混合过滤改进算法,发现它们存在的不足,提出改进的算法和模型,并进行验证。分析混合过滤对算法中影响推荐质量的稀疏性问题和影响用户满意度的推荐完整性问题,对混合过滤算法进行改进,提出新的混合过滤改进算法。改进相似度度量方法,是提高推荐精确率。并在此基础上搜索目标用户的最近邻居,从而缩小最近邻居的查找范围并产生推荐结果。针对传统算法中因为新用户增加导致数据量的增加,导致算法在线处理数据效率低,提出了利用用户聚类的方法将具有相似兴趣的用户划分到同一个聚类中,并提出一种以协同过滤算法为主,其他方法为主的混合过滤算法。复杂分布式Web系统推荐系统问题。建立一个模型,对多网站的分布式、松散、异构的信息进行整合,提出一种复杂分布式Web聚合推荐算法。 最后,本文设计实现一个基于混合模式的复杂个性化电子商务推荐原型系统。该系统采用J2EE技术、MVC模式、SSH架构等技术进行建模。该系统是基于多模型的推荐系统引擎模型,它能够提供个性化推荐、新项目推荐、热门推荐等多方面的推荐,并综合了用户评分的功能和关键词检索,从不同层面帮助用户获取个性化信息,进一步提升了用户体验。
基于混合过滤的推荐系统开发研究
这是一篇关于推荐系统,兴趣模型,混合过滤,相似性的论文, 主要内容为随着全球信息化进程的推进以及互联网的普及,Internet逐渐成为人们获取新信息的主要途径,Web上的资源逐渐呈现爆炸式增长趋势,用户提取有价值的信息比较困难,一些不被关注的用户信息很容易成为孤岛信息,由于当下的电子商务推荐系统普遍存在推荐质量差、推荐效率低和自动化程度低的问题。因此,个性化推荐系统的出现有效的解决这些问题,个性化推荐系统分析用户的购买行为和兴趣特点,向用户推荐潜在的感兴趣和令人满意的信息,提高用户正确决策能力。 本文主要阐述了个性化推荐技术,其中主要阐述了基于内容的过滤技术与基于协同的过滤技术,通过比较两者的优势和劣势,采用结合两种推荐技术进行混合推荐的方法,提出一个基于混合推荐的框架模型。 在推荐系统的研究中,兴趣模型和用户聚类一直是人们研讨的热点,而本文特别关注用户兴趣模型。研究现有的经典混合过滤改进算法,发现它们存在的不足,提出改进的算法和模型,并进行验证。分析混合过滤对算法中影响推荐质量的稀疏性问题和影响用户满意度的推荐完整性问题,对混合过滤算法进行改进,提出新的混合过滤改进算法。改进相似度度量方法,是提高推荐精确率。并在此基础上搜索目标用户的最近邻居,从而缩小最近邻居的查找范围并产生推荐结果。针对传统算法中因为新用户增加导致数据量的增加,导致算法在线处理数据效率低,提出了利用用户聚类的方法将具有相似兴趣的用户划分到同一个聚类中,并提出一种以协同过滤算法为主,其他方法为主的混合过滤算法。复杂分布式Web系统推荐系统问题。建立一个模型,对多网站的分布式、松散、异构的信息进行整合,提出一种复杂分布式Web聚合推荐算法。 最后,本文设计实现一个基于混合模式的复杂个性化电子商务推荐原型系统。该系统采用J2EE技术、MVC模式、SSH架构等技术进行建模。该系统是基于多模型的推荐系统引擎模型,它能够提供个性化推荐、新项目推荐、热门推荐等多方面的推荐,并综合了用户评分的功能和关键词检索,从不同层面帮助用户获取个性化信息,进一步提升了用户体验。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码工厂 ,原文地址:https://m.bishedaima.com/lunwen/48798.html