基于深度学习的Top-N个性化推荐技术研究与应用

这是一篇关于Top-N个性化推荐,深度学习,混合推荐模型,高阶特征交互,负载优化的论文, 主要内容为21世纪伊始,信息技术的兴起与蓬勃助力经济模式朝着虚实结合的方向演变。尤其是互联网为餐饮、新闻和商品交易等实体产业提供了在线推广平台,以及广至全球范围的信息快速传播与分享通道。人们也因便捷性而纷纷成为这些虚拟平台中的信息消费者。在这种大环境下,信息数据量呈现指数级增长,纷繁复杂的信息扰乱了各线上平台商家产品与用户的联系,影响了商家收益和用户体验。所以提出一种稳定且有效的Top-N推荐技术势在必行,如今其能带来的潜在服务价值和经济效益吸引了大量学者投身该领域的研究。推荐算法是这种定制服务的核心所在,常依据用户评分或行为的预测排名结果提供Top-N推荐服务。结构简单且易落实的传统算法在预测上误差较大而陷入性能瓶颈。近几年深度学习的浪潮开始影响推荐领域,其中基于深度学习的混合模型为大规模服务场景的Top-N个性化推荐质量带来了显著的提升,却对实际商家收益考虑不周。而且复杂化的混合模型为系统服务响应施加了巨大的负载压力。因此,本文依据深度学习技术框架并从用户评分至动态行为逐步深入研究新型Top-N个性化推荐模型以改善用户的服务体验。同时围绕真实场景的可应用性和经济效益,本文还设计了一种优化负载的推荐系统架构方案,将算法模型作为关键组件,以求通过服务实现平台用户和入驻商家的互利共赢。本文主要的研究工作和创新点如下:(1)为了降低基于用户评分Top-N推荐时的预测误差和算法成本,提出了一种基于注意力机制的协同卷积网络(Attention-based Collaborative Convolutional Network,ACCN)。它可以选择性启用历史评分作为辅助信息,通过注意力机制为用户分配关于物品各个属性的关注度,再利用二维行卷积网络实现高阶特征组间的高效交互。本文分别在较大规模Movie Lens-1M和大规模高稀疏Niconico的两个真实世界数据集上进行推荐情景模拟,所提的ACCN相比PMF、CFN、NFM等模型在RMSE和MAPE评估指标上分别有最低12.61%和18.45%的提升,以及节省了2%～31%不等的训练时间成本。(2)以提高Top-N推荐服务动态性和个性化为主题,首先提出了一种新颖的动态特征预测算法(Multi-Temporal-Scale Transformer,MTS Transformer),它利用LSTMs进行多周期编码和Transformer并行解码提高了特征预测的时间跨度、效率和准确性。并在结合工作(1)中ACCN后,本文进一步提出了多时间尺度动态推荐算法模型(MTS-Transformer-boosted Dynamic ACCN,MTST ACCDN)。以AUC、HR@N和NDCG@N等作为评估指标,使用(1)中两个数据集验证了MTST ACCDN相比RRN、NCF、x Deep FM和CFM等算法模型在基于上下文内容的用户行为预测和Top-N个性化推荐上有更明显的优势。(3)设计了一个以Top-N实际定制服务场景为目标的负载优化推荐系统方案。这其中包含了基于一阶用户特征统计法的多路召回、基于规则过滤和基于分位数的多推荐列表融合等策略或组件。并用(2)中所提MTST ACCDN和迁移的GBDT-LR作为可并行的精排模型实现Top-N混合推荐。在(2)中情景模拟的基础上加入覆盖率和多样性的经济指标,通过消融实验检验方案中各组件作用的有效性,牺牲了折合1.1%～4.3%的服务品质换取了两个经济指标上至少1.52%和10.4%的涨幅,并且系统在两个推荐场景中降低了约25.2%和42.4%的负载,证实了本文推荐系统架构在推荐质量和经济效益上有着较为理想的综合表现。

考虑用户生命周期的混合推荐算法设计与实现

这是一篇关于电商推荐系统,用户生命周期,深度学习神经网络,混合推荐模型,GRU,注意力机制,商品浏览时长的论文, 主要内容为在互联网高速发展的时代,我们在移动设备上消费是个再正常不过的场景,电商企业现在对于利用营销手段获客,吸引用户进入平台已经不是一件难事,但是由于电商平台竞争激烈,用户选择越来越多,如何在短暂的,碎片化的时间内,使得用户快速对平台内商品激发兴趣,提高用户在电商平台的活跃度,保持长周期的用户留存,并使用户形成消费习惯,成为了电商企业的重大挑战。现在越来多的企业在自己的电商平台引入个性化推荐模块,来提高用户的活跃度。本文以电商平台中推荐模块中个性化推荐算法作为研究主题,因此本文研究了电商推荐算法的发展历程以及当代常用的基于深度学习推荐模型RNN,LSTM,GRU等。由于以用户为中心的互联网营销思维在电商生态中越来越重要,在个性化营销、用户运营的过程中,都会以用户视角来进行企业管理规划。随着这两年个性化推荐算法的发展,虽然运用了很多机器学习、深度学习的技术,但是融入业务内容的用户生命周期理念研究非常少,所以本文将用户生命周期作为切入视角,对现有的深度学习的个性化推荐模型进行优化。本文首先研究了电商用户生命周期的相关理论,着重阐述了用户生命周期中较为经典的AARRR模型。但因为AARRR理论对于本文研究的内容有些局限性,所以本文基于用户行为规律的探索,改进了原有的生命周期理论,提出GMS(Growth Period-成长期,Mature Period-成熟期,Sleeping Period-休眠期)生命周期理论,使之融入电商推荐系统中,更好的帮助电商企业契合在不同生命周期阶段的用户需求,提高推荐的精准度。在不同的生命周期阶段下,用户的行为规律不同,用户主要的需求倾向也不经相同,比如在G-成长期,用户行为具有稀缺性,需要平台做主动的热门商品导购,在M-成熟期,用户对商品的兴趣程度可以通过大量的历史数据获得,而在S-休眠期,则需要部分热门商品导购,加部分历史行为来唤醒用户对平台商品的兴趣。基于这种多阶段的情况,全局使用单一模型并不很好的满足不同用户需求和特征规律,所以本文研究中尝试在不同的用户生命周期阶段选用最合适的算法模型与之匹配,设计出一个基于深度学习的混合推荐算法模型框架,用户分不同阶段来是适配不同阶段模型,进而达到总体推荐模型效果最佳的状态。由于GRU在传统RNN的基础上优化了梯度消失等问题,在LSTM的基础上提升了运算效率,所以本文最终选定GRU作为主要算法之一。另外,为了能够更好的优化在电商场景兴趣度合理分配的问题,所以本文使用了注意力机制,研究加入注意力因子的混合深度学习推荐算法。时间相关的信息是个性化推荐系统中的一个关键特征。一般来说,不同的商品浏览时长反映了用户当前的兴趣度。本文提出了一种将时长相关信息融入注意力机制的GRU模型,通过对用户浏览各商品的时长信息进行分析、清洗和标准化等处理得到时长注意力因子,并将时长注意力因子和其他用户行为数据共同作为深度学习模型的输入信息进行模型训练和预测,更充分地利用了时间信息来提升推荐效果。最后为了验证本文提出的以用户生命周期的混合推荐算法的效果,本文采用了一些单一模型和混合模型,作为对比,例如:RNN,LSTM,CNN,热门推荐算法和不同阶段使用不同模型等基准。并且,还加入了 dropout来优化本文所提出混合推荐算法。本文采用了真实电商平台app的用户行为数据集,该电商平台有丰富的用户规模和用户行为数据,包括380万+的用户行为明细数据。本文训练和测试的模型,都应用于这个电商app的推荐模块中,以此来尝试提高用户在该模块中对于推荐商品的兴趣度。

城市小区推荐系统的设计与实现

这是一篇关于混合推荐模型,房源推荐,区位资源,用户兴趣偏好的论文, 主要内容为随着社会的发展,海量数据在给人们带来生活便利的同时也带来了困扰。以用户购房为例,海量房源数据使用户容易陷入信息过载的泥潭,难以获取到有效数据;并且区位资源已经成为用户购房考虑的重要因素,但是用户难以将自己对于区位资源的需求同房源数据关联起来。本文针对以上用户购房时遇到的问题进行设计实现。系统由六个模块组成,分别是数据台账、查询统计、区位资源、房源推荐、房源对比和个人信息。数据台账模块展示整体房价和区位资源的情况;查询统计模块面向用户提供房源查询;区位资源模块从不同角度为用户提供区位资源相关服务;房源推荐模块根据用户信息进行房源推荐;房源对比模块用于对不同房源进行对比分析;个人信息模块用于个人信息管理。在房源推荐模块,本文在推荐算法研究的基础上针对实际情况,提出一个基于内容推荐和基于用户协同过滤的混合推荐模型,将基于内容的推荐算法和基于用户的协同过滤算法采用级联式的方式组合,并结合K-Means算法进行房源数据粗分类、通过矩阵计算得出用户兴趣偏好、使用灰色关联分析求出房源间的相关联度。最后使用NDCG和Coverage两种评估指标将模型与传统推荐算法的实验结果进行对比分析,验证本文提出的混合推荐模型在NDCG评估指标可达到47.8%,Coverage达到43.3%,相比传统推荐算法在推荐效果上具有很大的提升。最后系统通过测试,能够帮助用户快速获取想要查找的信息、推荐房源等,有效解决用户购房时的烦恼,具有实际使用价值。

基于深度学习的Top-N个性化推荐技术研究与应用

这是一篇关于Top-N个性化推荐,深度学习,混合推荐模型,高阶特征交互,负载优化的论文, 主要内容为21世纪伊始,信息技术的兴起与蓬勃助力经济模式朝着虚实结合的方向演变。尤其是互联网为餐饮、新闻和商品交易等实体产业提供了在线推广平台,以及广至全球范围的信息快速传播与分享通道。人们也因便捷性而纷纷成为这些虚拟平台中的信息消费者。在这种大环境下,信息数据量呈现指数级增长,纷繁复杂的信息扰乱了各线上平台商家产品与用户的联系,影响了商家收益和用户体验。所以提出一种稳定且有效的Top-N推荐技术势在必行,如今其能带来的潜在服务价值和经济效益吸引了大量学者投身该领域的研究。推荐算法是这种定制服务的核心所在,常依据用户评分或行为的预测排名结果提供Top-N推荐服务。结构简单且易落实的传统算法在预测上误差较大而陷入性能瓶颈。近几年深度学习的浪潮开始影响推荐领域,其中基于深度学习的混合模型为大规模服务场景的Top-N个性化推荐质量带来了显著的提升,却对实际商家收益考虑不周。而且复杂化的混合模型为系统服务响应施加了巨大的负载压力。因此,本文依据深度学习技术框架并从用户评分至动态行为逐步深入研究新型Top-N个性化推荐模型以改善用户的服务体验。同时围绕真实场景的可应用性和经济效益,本文还设计了一种优化负载的推荐系统架构方案,将算法模型作为关键组件,以求通过服务实现平台用户和入驻商家的互利共赢。本文主要的研究工作和创新点如下:(1)为了降低基于用户评分Top-N推荐时的预测误差和算法成本,提出了一种基于注意力机制的协同卷积网络(Attention-based Collaborative Convolutional Network,ACCN)。它可以选择性启用历史评分作为辅助信息,通过注意力机制为用户分配关于物品各个属性的关注度,再利用二维行卷积网络实现高阶特征组间的高效交互。本文分别在较大规模Movie Lens-1M和大规模高稀疏Niconico的两个真实世界数据集上进行推荐情景模拟,所提的ACCN相比PMF、CFN、NFM等模型在RMSE和MAPE评估指标上分别有最低12.61%和18.45%的提升,以及节省了2%～31%不等的训练时间成本。(2)以提高Top-N推荐服务动态性和个性化为主题,首先提出了一种新颖的动态特征预测算法(Multi-Temporal-Scale Transformer,MTS Transformer),它利用LSTMs进行多周期编码和Transformer并行解码提高了特征预测的时间跨度、效率和准确性。并在结合工作(1)中ACCN后,本文进一步提出了多时间尺度动态推荐算法模型(MTS-Transformer-boosted Dynamic ACCN,MTST ACCDN)。以AUC、HR@N和NDCG@N等作为评估指标,使用(1)中两个数据集验证了MTST ACCDN相比RRN、NCF、x Deep FM和CFM等算法模型在基于上下文内容的用户行为预测和Top-N个性化推荐上有更明显的优势。(3)设计了一个以Top-N实际定制服务场景为目标的负载优化推荐系统方案。这其中包含了基于一阶用户特征统计法的多路召回、基于规则过滤和基于分位数的多推荐列表融合等策略或组件。并用(2)中所提MTST ACCDN和迁移的GBDT-LR作为可并行的精排模型实现Top-N混合推荐。在(2)中情景模拟的基础上加入覆盖率和多样性的经济指标,通过消融实验检验方案中各组件作用的有效性,牺牲了折合1.1%～4.3%的服务品质换取了两个经济指标上至少1.52%和10.4%的涨幅,并且系统在两个推荐场景中降低了约25.2%和42.4%的负载,证实了本文推荐系统架构在推荐质量和经济效益上有着较为理想的综合表现。

城市小区推荐系统的设计与实现

这是一篇关于混合推荐模型,房源推荐,区位资源,用户兴趣偏好的论文, 主要内容为随着社会的发展,海量数据在给人们带来生活便利的同时也带来了困扰。以用户购房为例,海量房源数据使用户容易陷入信息过载的泥潭,难以获取到有效数据;并且区位资源已经成为用户购房考虑的重要因素,但是用户难以将自己对于区位资源的需求同房源数据关联起来。本文针对以上用户购房时遇到的问题进行设计实现。系统由六个模块组成,分别是数据台账、查询统计、区位资源、房源推荐、房源对比和个人信息。数据台账模块展示整体房价和区位资源的情况;查询统计模块面向用户提供房源查询;区位资源模块从不同角度为用户提供区位资源相关服务;房源推荐模块根据用户信息进行房源推荐;房源对比模块用于对不同房源进行对比分析;个人信息模块用于个人信息管理。在房源推荐模块,本文在推荐算法研究的基础上针对实际情况,提出一个基于内容推荐和基于用户协同过滤的混合推荐模型,将基于内容的推荐算法和基于用户的协同过滤算法采用级联式的方式组合,并结合K-Means算法进行房源数据粗分类、通过矩阵计算得出用户兴趣偏好、使用灰色关联分析求出房源间的相关联度。最后使用NDCG和Coverage两种评估指标将模型与传统推荐算法的实验结果进行对比分析,验证本文提出的混合推荐模型在NDCG评估指标可达到47.8%,Coverage达到43.3%,相比传统推荐算法在推荐效果上具有很大的提升。最后系统通过测试,能够帮助用户快速获取想要查找的信息、推荐房源等,有效解决用户购房时的烦恼,具有实际使用价值。

基于混合推荐的高考志愿推荐系统的设计与实现

这是一篇关于高考志愿推荐,混合推荐模型,聚类分析,灰色预测理论的论文, 主要内容为“高考难,填报更难”一直是每一个高考家庭面临的重大问题。繁多的院校和专业信息、每年高考政策的改革以及各院校招生计划的变动让高考志愿的填报困难重重。如何从如此繁杂且庞大的信息中提取出符合考生个人情况的相关信息是亟待解决的问题。随着互联网技术的日新月异,推荐技术也得到了巨大的发展。本文针对高考志愿填报中难以选择合适院校和专业的问题,设计并实现了基于混合推荐的高考志愿推荐系统。本文主要研究工作如下:(1)本文通过灰色预测理论中的GM(1,1)预测模型和Verhulst预测模型对录取分数线进行预测,采用后验差法对预测结果进行检验并择优选择作为最终的录取分数线预测值。本文以2756所院校2017-2020年在内蒙古自治区的理科录取分数线为输入进行了测试,测试结果显示,97.16%的院校2021年预测录取分数线与实际录取分数线误差值在10以内。(2)本文以霍兰德职业兴趣测试和迈尔斯-布里格斯性格分类指标的测试结果为输入,通过基于内容推荐和基于用户协同过滤的混合推荐算法完成对考生的专业推荐。本文采用归一化折损累计增益对推荐结果进行评估,结果显示,混合推荐算法的推荐效果优于基于内容的推荐算法和基于用户的协同过滤算法,且混合推荐模型采用TOP-15的方式进行推荐。(3)本文采用K-means++算法对各院校预测录取分数线进行聚类分析并最终实现对考生的院校推荐。本文使用轮廓系数对聚类效果进行评估,评估结果显示,当聚类数为6时,K-means++算法聚类效果最佳。(4)本文采用了vue、Spring Boot等技术完成了高考志愿推荐系统的开发,最终实现了六个功能,包括录取分数线预测功能、专业推荐功能、院校推荐功能、个人信息管理功能、数据查询功能和数据管理功能。在完成开发工作后,本文对高考志愿推荐系统进行了系统性测试并对测试结果进行分析。目前,高考志愿推荐系统已在内蒙古易高教育科技有限公司测试运行,为多名考生的高考志愿填报工作提供了有力支持。

考虑用户生命周期的混合推荐算法设计与实现

这是一篇关于电商推荐系统,用户生命周期,深度学习神经网络,混合推荐模型,GRU,注意力机制,商品浏览时长的论文, 主要内容为在互联网高速发展的时代,我们在移动设备上消费是个再正常不过的场景,电商企业现在对于利用营销手段获客,吸引用户进入平台已经不是一件难事,但是由于电商平台竞争激烈,用户选择越来越多,如何在短暂的,碎片化的时间内,使得用户快速对平台内商品激发兴趣,提高用户在电商平台的活跃度,保持长周期的用户留存,并使用户形成消费习惯,成为了电商企业的重大挑战。现在越来多的企业在自己的电商平台引入个性化推荐模块,来提高用户的活跃度。本文以电商平台中推荐模块中个性化推荐算法作为研究主题,因此本文研究了电商推荐算法的发展历程以及当代常用的基于深度学习推荐模型RNN,LSTM,GRU等。由于以用户为中心的互联网营销思维在电商生态中越来越重要,在个性化营销、用户运营的过程中,都会以用户视角来进行企业管理规划。随着这两年个性化推荐算法的发展,虽然运用了很多机器学习、深度学习的技术,但是融入业务内容的用户生命周期理念研究非常少,所以本文将用户生命周期作为切入视角,对现有的深度学习的个性化推荐模型进行优化。本文首先研究了电商用户生命周期的相关理论,着重阐述了用户生命周期中较为经典的AARRR模型。但因为AARRR理论对于本文研究的内容有些局限性,所以本文基于用户行为规律的探索,改进了原有的生命周期理论,提出GMS(Growth Period-成长期,Mature Period-成熟期,Sleeping Period-休眠期)生命周期理论,使之融入电商推荐系统中,更好的帮助电商企业契合在不同生命周期阶段的用户需求,提高推荐的精准度。在不同的生命周期阶段下,用户的行为规律不同,用户主要的需求倾向也不经相同,比如在G-成长期,用户行为具有稀缺性,需要平台做主动的热门商品导购,在M-成熟期,用户对商品的兴趣程度可以通过大量的历史数据获得,而在S-休眠期,则需要部分热门商品导购,加部分历史行为来唤醒用户对平台商品的兴趣。基于这种多阶段的情况,全局使用单一模型并不很好的满足不同用户需求和特征规律,所以本文研究中尝试在不同的用户生命周期阶段选用最合适的算法模型与之匹配,设计出一个基于深度学习的混合推荐算法模型框架,用户分不同阶段来是适配不同阶段模型,进而达到总体推荐模型效果最佳的状态。由于GRU在传统RNN的基础上优化了梯度消失等问题,在LSTM的基础上提升了运算效率,所以本文最终选定GRU作为主要算法之一。另外,为了能够更好的优化在电商场景兴趣度合理分配的问题,所以本文使用了注意力机制,研究加入注意力因子的混合深度学习推荐算法。时间相关的信息是个性化推荐系统中的一个关键特征。一般来说,不同的商品浏览时长反映了用户当前的兴趣度。本文提出了一种将时长相关信息融入注意力机制的GRU模型,通过对用户浏览各商品的时长信息进行分析、清洗和标准化等处理得到时长注意力因子,并将时长注意力因子和其他用户行为数据共同作为深度学习模型的输入信息进行模型训练和预测,更充分地利用了时间信息来提升推荐效果。最后为了验证本文提出的以用户生命周期的混合推荐算法的效果,本文采用了一些单一模型和混合模型,作为对比,例如:RNN,LSTM,CNN,热门推荐算法和不同阶段使用不同模型等基准。并且,还加入了 dropout来优化本文所提出混合推荐算法。本文采用了真实电商平台app的用户行为数据集,该电商平台有丰富的用户规模和用户行为数据,包括380万+的用户行为明细数据。本文训练和测试的模型,都应用于这个电商app的推荐模块中,以此来尝试提高用户在该模块中对于推荐商品的兴趣度。

基于混合推荐的高考志愿推荐系统的设计与实现

这是一篇关于高考志愿推荐,混合推荐模型,聚类分析,灰色预测理论的论文, 主要内容为“高考难,填报更难”一直是每一个高考家庭面临的重大问题。繁多的院校和专业信息、每年高考政策的改革以及各院校招生计划的变动让高考志愿的填报困难重重。如何从如此繁杂且庞大的信息中提取出符合考生个人情况的相关信息是亟待解决的问题。随着互联网技术的日新月异,推荐技术也得到了巨大的发展。本文针对高考志愿填报中难以选择合适院校和专业的问题,设计并实现了基于混合推荐的高考志愿推荐系统。本文主要研究工作如下:(1)本文通过灰色预测理论中的GM(1,1)预测模型和Verhulst预测模型对录取分数线进行预测,采用后验差法对预测结果进行检验并择优选择作为最终的录取分数线预测值。本文以2756所院校2017-2020年在内蒙古自治区的理科录取分数线为输入进行了测试,测试结果显示,97.16%的院校2021年预测录取分数线与实际录取分数线误差值在10以内。(2)本文以霍兰德职业兴趣测试和迈尔斯-布里格斯性格分类指标的测试结果为输入,通过基于内容推荐和基于用户协同过滤的混合推荐算法完成对考生的专业推荐。本文采用归一化折损累计增益对推荐结果进行评估,结果显示,混合推荐算法的推荐效果优于基于内容的推荐算法和基于用户的协同过滤算法,且混合推荐模型采用TOP-15的方式进行推荐。(3)本文采用K-means++算法对各院校预测录取分数线进行聚类分析并最终实现对考生的院校推荐。本文使用轮廓系数对聚类效果进行评估,评估结果显示,当聚类数为6时,K-means++算法聚类效果最佳。(4)本文采用了vue、Spring Boot等技术完成了高考志愿推荐系统的开发,最终实现了六个功能,包括录取分数线预测功能、专业推荐功能、院校推荐功能、个人信息管理功能、数据查询功能和数据管理功能。在完成开发工作后,本文对高考志愿推荐系统进行了系统性测试并对测试结果进行分析。目前,高考志愿推荐系统已在内蒙古易高教育科技有限公司测试运行,为多名考生的高考志愿填报工作提供了有力支持。