个性化电影主题播单推荐系统的设计与实现
这是一篇关于视频推荐系统,用户画像,Spark的论文, 主要内容为视频推荐在推荐系统领域是炙手可热的话题,长视频不同于文字,在推荐给用户时所能展现出的信息相对较少,用户大部分时间只能通过名称和海报去判断是否对视频感兴趣。为了解决此类问题,论文设计和实现了电影主题播单推荐系统,从播单的角度寻求方案,一方面可以帮助用户发现自己感兴趣的视频,减少信息筛选的时间,另一方面让电影展现在对它感兴趣的用户面前,提高了平台的流量,从而实现用户和平台的双赢。电影主题播单推荐系统相比于传统推荐系统,需要解决主题寻找、视频聚合等问题,系统会挖掘用户的行为,将用户日志转化成抽象的用户画像,自动化生产兴趣播单、基于内容的播单和非个性化播单,再通过多路召回,混合推荐、多样性过滤等步骤,将播单精准地推荐给需要的用户。系统从功能上分为五个模块,分别为用户画像模块、播单处理模块、推荐工程模块、前端接口模块和工程监控模块。其中用户画像的计算主要使用了播放指数公式,并设计 了基于 TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)和基于记忆遗忘曲线增量模型的权重计算公式。在播单自动化扩充时,需要计算电影与电影之间的共现相似度。多路召回时,主要使用了用户画像的特征向量与播单标签向量的余弦相似度,并基于内容和非个性化多路召回。推荐时,主要设计了随机作为对照组,加权SlopeOne算法、ALS(Alternating Least Squares,交替最小二乘)矩阵分解的排序,在输出播单前,需要对推荐列表进行基于栈的多样性过滤,以保证返回播单内电影不会过多重复。前端接口模块使用Spring Boot框架为客户端提供接口服务。项目主要使用了Spark作为计算引擎,Spark MLlib机器学习库,Hive和Hbase作为大数据存储工具,Couchbase作为线上数据库,实现一个完整的推荐系统。项目上线后,使用了分桶测试为推荐效果做线上监控和验证,播单以及播单内视频的 CTR(Click-Through-Rate,点击通过率)和 UCTR(User Click-Through-Rate,用户点击通过率)相比于旧接口有了较为显著的增长。项目使用场景广泛,在TV端、移动端多频道都得到应用,对不同的展现区块可以有不同的推荐效果。
基于边缘计算与联邦学习的视频推荐系统研究与实现
这是一篇关于视频推荐系统,联邦学习,边缘计算,非独立同分布数据的论文, 主要内容为随着互联网各种视频应用的蓬勃发展,视频推荐系统得到了快速的革新。视频推荐系统能够分析用户的历史观看行为,提取用户的偏好并向其提供个性化的视频推荐。然而,目前主流的视频推荐系统大多采用云计算架构,导致云服务器的计算负载过重和网络时延偏高,从而影响用户的体验。同时随着隐私保护法的颁布以及用户隐私安全意识的提高,推荐系统未来可能不再被允许随意收集用户隐私数据以训练推荐模型。因此,在保护用户数据隐私的前提下,如何提供个性化的推荐服务成了一个越来越重要的问题。针对该问题,边缘计算和联邦学习技术提供了新的思路。边缘计算利用边缘端更贴近用户的计算和存储能力,将数据保留在边缘端以保护用户数据隐私,并提供更快的响应。联邦学习则可以利用边缘端的数据训练模型而无需上传用户隐私数据,在保障安全的前提下实现个性化的推荐服务。因此,本文提出了一种基于边缘计算和联邦学习的视频推荐系统,主要工作如下:(1)针对传统云中心推荐系统收集用户隐私数据的问题,本文提出了一种基于联邦学习的视频推荐模型,名为Fed-DIN(Federated Deep Interest Network)。该模型在深度兴趣网络推荐模型的基础上引入联邦学习框架,并针对传统联邦学习中各个边缘端数据呈现非独立同分布时所导致的全局模型性能下降的问题,在联邦平均算法基础上加入注意力机制以减少本地模型个性化对全局模型性能的影响,同时引入循环学习率以加速模型收敛。实验结果表明,在公开电影数据集Movie Lens-1M上,本文Fed-DIN模型性能比传统联邦推荐模型提高了2%-4%,具有提高推荐效果和隐私保护的双重优势。(2)针对传统云中心推荐系统架构存在的网络时延高、云服务器负载大的问题,本文设计并实现了一套基于边缘计算与联邦学习的视频推荐系统架构。该架构将推荐流程分为召回和排序两个阶段,根据不同需求设计多种召回策略,同时采用联邦推荐模型Fed-DIN对召回结果进行排序,在靠近用户的边缘端将结果近实时的返回给用户,通过以上分阶段的推荐过程,使得用户大部分的推荐请求都将在边缘端得到满足。最后本文通过需求分析、整体架构和功能模块设计等步骤,详细介绍了核心模块的实现过程,并通过测试验证了本文系统的有效性。
个性化电影主题播单推荐系统的设计与实现
这是一篇关于视频推荐系统,用户画像,Spark的论文, 主要内容为视频推荐在推荐系统领域是炙手可热的话题,长视频不同于文字,在推荐给用户时所能展现出的信息相对较少,用户大部分时间只能通过名称和海报去判断是否对视频感兴趣。为了解决此类问题,论文设计和实现了电影主题播单推荐系统,从播单的角度寻求方案,一方面可以帮助用户发现自己感兴趣的视频,减少信息筛选的时间,另一方面让电影展现在对它感兴趣的用户面前,提高了平台的流量,从而实现用户和平台的双赢。电影主题播单推荐系统相比于传统推荐系统,需要解决主题寻找、视频聚合等问题,系统会挖掘用户的行为,将用户日志转化成抽象的用户画像,自动化生产兴趣播单、基于内容的播单和非个性化播单,再通过多路召回,混合推荐、多样性过滤等步骤,将播单精准地推荐给需要的用户。系统从功能上分为五个模块,分别为用户画像模块、播单处理模块、推荐工程模块、前端接口模块和工程监控模块。其中用户画像的计算主要使用了播放指数公式,并设计 了基于 TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)和基于记忆遗忘曲线增量模型的权重计算公式。在播单自动化扩充时,需要计算电影与电影之间的共现相似度。多路召回时,主要使用了用户画像的特征向量与播单标签向量的余弦相似度,并基于内容和非个性化多路召回。推荐时,主要设计了随机作为对照组,加权SlopeOne算法、ALS(Alternating Least Squares,交替最小二乘)矩阵分解的排序,在输出播单前,需要对推荐列表进行基于栈的多样性过滤,以保证返回播单内电影不会过多重复。前端接口模块使用Spring Boot框架为客户端提供接口服务。项目主要使用了Spark作为计算引擎,Spark MLlib机器学习库,Hive和Hbase作为大数据存储工具,Couchbase作为线上数据库,实现一个完整的推荐系统。项目上线后,使用了分桶测试为推荐效果做线上监控和验证,播单以及播单内视频的 CTR(Click-Through-Rate,点击通过率)和 UCTR(User Click-Through-Rate,用户点击通过率)相比于旧接口有了较为显著的增长。项目使用场景广泛,在TV端、移动端多频道都得到应用,对不同的展现区块可以有不同的推荐效果。
基于边缘计算与联邦学习的视频推荐系统研究与实现
这是一篇关于视频推荐系统,联邦学习,边缘计算,非独立同分布数据的论文, 主要内容为随着互联网各种视频应用的蓬勃发展,视频推荐系统得到了快速的革新。视频推荐系统能够分析用户的历史观看行为,提取用户的偏好并向其提供个性化的视频推荐。然而,目前主流的视频推荐系统大多采用云计算架构,导致云服务器的计算负载过重和网络时延偏高,从而影响用户的体验。同时随着隐私保护法的颁布以及用户隐私安全意识的提高,推荐系统未来可能不再被允许随意收集用户隐私数据以训练推荐模型。因此,在保护用户数据隐私的前提下,如何提供个性化的推荐服务成了一个越来越重要的问题。针对该问题,边缘计算和联邦学习技术提供了新的思路。边缘计算利用边缘端更贴近用户的计算和存储能力,将数据保留在边缘端以保护用户数据隐私,并提供更快的响应。联邦学习则可以利用边缘端的数据训练模型而无需上传用户隐私数据,在保障安全的前提下实现个性化的推荐服务。因此,本文提出了一种基于边缘计算和联邦学习的视频推荐系统,主要工作如下:(1)针对传统云中心推荐系统收集用户隐私数据的问题,本文提出了一种基于联邦学习的视频推荐模型,名为Fed-DIN(Federated Deep Interest Network)。该模型在深度兴趣网络推荐模型的基础上引入联邦学习框架,并针对传统联邦学习中各个边缘端数据呈现非独立同分布时所导致的全局模型性能下降的问题,在联邦平均算法基础上加入注意力机制以减少本地模型个性化对全局模型性能的影响,同时引入循环学习率以加速模型收敛。实验结果表明,在公开电影数据集Movie Lens-1M上,本文Fed-DIN模型性能比传统联邦推荐模型提高了2%-4%,具有提高推荐效果和隐私保护的双重优势。(2)针对传统云中心推荐系统架构存在的网络时延高、云服务器负载大的问题,本文设计并实现了一套基于边缘计算与联邦学习的视频推荐系统架构。该架构将推荐流程分为召回和排序两个阶段,根据不同需求设计多种召回策略,同时采用联邦推荐模型Fed-DIN对召回结果进行排序,在靠近用户的边缘端将结果近实时的返回给用户,通过以上分阶段的推荐过程,使得用户大部分的推荐请求都将在边缘端得到满足。最后本文通过需求分析、整体架构和功能模块设计等步骤,详细介绍了核心模块的实现过程,并通过测试验证了本文系统的有效性。
基于边缘计算与联邦学习的视频推荐系统研究与实现
这是一篇关于视频推荐系统,联邦学习,边缘计算,非独立同分布数据的论文, 主要内容为随着互联网各种视频应用的蓬勃发展,视频推荐系统得到了快速的革新。视频推荐系统能够分析用户的历史观看行为,提取用户的偏好并向其提供个性化的视频推荐。然而,目前主流的视频推荐系统大多采用云计算架构,导致云服务器的计算负载过重和网络时延偏高,从而影响用户的体验。同时随着隐私保护法的颁布以及用户隐私安全意识的提高,推荐系统未来可能不再被允许随意收集用户隐私数据以训练推荐模型。因此,在保护用户数据隐私的前提下,如何提供个性化的推荐服务成了一个越来越重要的问题。针对该问题,边缘计算和联邦学习技术提供了新的思路。边缘计算利用边缘端更贴近用户的计算和存储能力,将数据保留在边缘端以保护用户数据隐私,并提供更快的响应。联邦学习则可以利用边缘端的数据训练模型而无需上传用户隐私数据,在保障安全的前提下实现个性化的推荐服务。因此,本文提出了一种基于边缘计算和联邦学习的视频推荐系统,主要工作如下:(1)针对传统云中心推荐系统收集用户隐私数据的问题,本文提出了一种基于联邦学习的视频推荐模型,名为Fed-DIN(Federated Deep Interest Network)。该模型在深度兴趣网络推荐模型的基础上引入联邦学习框架,并针对传统联邦学习中各个边缘端数据呈现非独立同分布时所导致的全局模型性能下降的问题,在联邦平均算法基础上加入注意力机制以减少本地模型个性化对全局模型性能的影响,同时引入循环学习率以加速模型收敛。实验结果表明,在公开电影数据集Movie Lens-1M上,本文Fed-DIN模型性能比传统联邦推荐模型提高了2%-4%,具有提高推荐效果和隐私保护的双重优势。(2)针对传统云中心推荐系统架构存在的网络时延高、云服务器负载大的问题,本文设计并实现了一套基于边缘计算与联邦学习的视频推荐系统架构。该架构将推荐流程分为召回和排序两个阶段,根据不同需求设计多种召回策略,同时采用联邦推荐模型Fed-DIN对召回结果进行排序,在靠近用户的边缘端将结果近实时的返回给用户,通过以上分阶段的推荐过程,使得用户大部分的推荐请求都将在边缘端得到满足。最后本文通过需求分析、整体架构和功能模块设计等步骤,详细介绍了核心模块的实现过程,并通过测试验证了本文系统的有效性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头网 ，原文地址：https://m.bishedaima.com/lunwen/56182.html
