基于自注意力机制的推荐算法研究
这是一篇关于自注意力机制,局部敏感哈希算法,K-means算法,双塔模型的论文, 主要内容为随着互联网的高速发展,人们能够接触到的信息迅速膨胀,将有价值的物品和信息推荐给感兴趣的人,可以极大地提高整个社会的运转效率.因此,近些年来,针对推荐系统的研究和应用得到了学术界和工业界的广泛重视.如今随着计算机算力的提升和Tesnorflow、Pytorch等深度学习框架的出现.以神经网络为代表的模型在推荐算法领域大放异彩.本文主要着眼于推荐系统的排序和召回两个阶段.在排序阶段,我们将召回的结果输入排序模型中,选出用户最感兴趣的物品并呈现在用户面前.在召回阶段,我们从所有物品的集合中选出用户可能感兴趣的一些物品,作为排序阶段的输入.从自然语言处理领域产生的Transformer模型[1],不仅在该领域产生巨大影响,还迅速被应用于计算机视觉和推荐算法领域.Transformer模型的核心自注意力机制是处理序列数据的有力工具.本文以将自注意力机制为基础,探讨其在推荐系统的排序阶段和召回阶段的应用.本文的主要工作和创新点如下:1.针对排序阶段,本文使用局部敏感哈希算法[2]和K-means聚类算法对自注意力机制中的查询向量矩阵进行降维.我们先使用局部敏感哈希算法将嵌入向量转化为二进制序列的哈希码,然后使用基于汉明距离的K-means算法对哈希码进行聚类,由聚类结果产生权重矩阵来降维查询向量矩阵,从而构建了新的聚类自注意力层.我们将聚类自注意力层应用到推荐系统的排序任务当中,构建新的聚类自注意力模型,并将其与几个常用模型进行对比.在两个公开数据集上,本文所提出的模型在AUC指标下均保持了和经典自注意力模型相当的效果并且优于其他模型,此外,我们的模型与经典的自注意力模型相比显著地节约了时间.2.针对召回阶段,本文考察了经典的双塔模型[3]和基于自注意力机制的SASRec模型[4].在此基础上,我们分别构建了用户邻居序列和历史行为序列,将自注意力机制和经典的双塔结构相结合,使用自注意力层代替经典双塔模型的全连接层,由此得到新的自注意力双塔模型.与经典双塔模型相比它可以有效利用序列信息,与SASRec模型相比它能有效地利用用户信息.我们选取了两种损失函数并且在两个公开数据集上进行数值实验,相比于经典双塔模型,自注意力双塔模型在HR@10和NDCG@10指标上均有所提升.
分布式电商系统移动端的设计与实现
这是一篇关于分布式电商,区块链,移动端,双塔模型,分布式推荐服务的论文, 主要内容为随着智能手机等移动端设备的普及,电子商务领域的快速发展,移动电子商务模式为电商企业带来新的契机。目前,集中式电子商务模式仍然处于垄断地位,在集中式电子商务中,用户的个人信息交易信息都集中式地存储在第三方平台中,用户隐私保护欠缺越来越明显;并且第三方平台会收取高昂的代理费用。在这种背景下,分布式电商也即P2P电子商务模式,是一种没有中间服务和费用,卖家和买家直接“面对面”地处理商品信息,进行交易活动的模式,脱离了原先集中式的管理,使得电子商务的发展道路有了新的方向。本文所涉及的分布式电商系统是基于国外开源OpenBazaar分布式电商框架实现的去中心化电商平台。作为一种新兴的电子商务平台,目前只支持PC端,且功能只支持简单的购买,没有注册审核,推荐服务等功能,在移动化的时代,显然是无法受大众接受的。本文针对项目组前期开发的分布式电商系统,通过调研分析总结,提出了一种分布式电商移动端系统设计方案,并设计了一种基于分布式电商场景,兼顾隐私保护和数据开放的分布式推荐服务模型。论文首先介绍了国内外分布式电商移动端系统的研究现状,调研并分析了现有分布式电商系统的架构;然后结合目前主流的移动端开发技术以及开发模式,设计出了分布式电商移动端的整体架构;将现有分布式电商系统服务器端分离出来作为个人服务器端部署在云服务器上,负责与区块链网络和IPFS网络进行交互,移动客户端与个人服务器端一一对应,负责与用户进行交互,响应业务需求;同时,结合电商系统的基本需求,在云端添加了推荐系统服务器,基于DSSM双塔模型设计并实现了一种分布式推荐服务模型,完成系统的推荐服务。最后,对整个系统进行了详细功能和性能测试。针对服务器端系统进行了接口的稳定性以及压力测试;针对移动客户端进行了兼容性,适配性以及流畅性测试;确定系统各功能可正常使用;同时对推荐服务方案进行性能测试,验证推荐服务的准确性,测试结果符合预期。目前,区块链技术在国内处于初步发展阶段,已经得到国家的大力支持,在区块链与实体经济融合的趋势下,本文所设计的去中心化电商移动应用具有很大的市场价值和应用前景。
分布式电商系统移动端的设计与实现
这是一篇关于分布式电商,区块链,移动端,双塔模型,分布式推荐服务的论文, 主要内容为随着智能手机等移动端设备的普及,电子商务领域的快速发展,移动电子商务模式为电商企业带来新的契机。目前,集中式电子商务模式仍然处于垄断地位,在集中式电子商务中,用户的个人信息交易信息都集中式地存储在第三方平台中,用户隐私保护欠缺越来越明显;并且第三方平台会收取高昂的代理费用。在这种背景下,分布式电商也即P2P电子商务模式,是一种没有中间服务和费用,卖家和买家直接“面对面”地处理商品信息,进行交易活动的模式,脱离了原先集中式的管理,使得电子商务的发展道路有了新的方向。本文所涉及的分布式电商系统是基于国外开源OpenBazaar分布式电商框架实现的去中心化电商平台。作为一种新兴的电子商务平台,目前只支持PC端,且功能只支持简单的购买,没有注册审核,推荐服务等功能,在移动化的时代,显然是无法受大众接受的。本文针对项目组前期开发的分布式电商系统,通过调研分析总结,提出了一种分布式电商移动端系统设计方案,并设计了一种基于分布式电商场景,兼顾隐私保护和数据开放的分布式推荐服务模型。论文首先介绍了国内外分布式电商移动端系统的研究现状,调研并分析了现有分布式电商系统的架构;然后结合目前主流的移动端开发技术以及开发模式,设计出了分布式电商移动端的整体架构;将现有分布式电商系统服务器端分离出来作为个人服务器端部署在云服务器上,负责与区块链网络和IPFS网络进行交互,移动客户端与个人服务器端一一对应,负责与用户进行交互,响应业务需求;同时,结合电商系统的基本需求,在云端添加了推荐系统服务器,基于DSSM双塔模型设计并实现了一种分布式推荐服务模型,完成系统的推荐服务。最后,对整个系统进行了详细功能和性能测试。针对服务器端系统进行了接口的稳定性以及压力测试;针对移动客户端进行了兼容性,适配性以及流畅性测试;确定系统各功能可正常使用;同时对推荐服务方案进行性能测试,验证推荐服务的准确性,测试结果符合预期。目前,区块链技术在国内处于初步发展阶段,已经得到国家的大力支持,在区块链与实体经济融合的趋势下,本文所设计的去中心化电商移动应用具有很大的市场价值和应用前景。
基于SE-Net与Context-Gating的推荐算法的研究
这是一篇关于推荐算法,双塔模型,图嵌入,SE-Net,Context-Gating的论文, 主要内容为随着互联网信息技术的飞速发展,网络信息数据呈现出几何级别的爆炸增长态势,由此引发“信息过载”的问题。个性化的推荐系统能很好的解决这一问题。在推荐系统中,推荐算法的选择决定了推荐系统的质量。在工业级别的推荐系统中,推荐算法分为两步,分别是召回层和排序层。召回层高效快速的从数以亿计的原始物品库中选出用户感兴趣的几百个物品,排序层对挑选出的候选物品集进行精准排序以推荐给每个用户。本文主要研究召回层算法和排序层算法,包括如下内容:(1)在召回层提出一种基于SE-Net的双塔模型和图嵌入的双路召回算法。在双塔模型中引入SE-Net模块用以解决原双塔模型中用户塔与物品塔中特征交叉过晚的问题,通过实验验证改进后的双塔模型相比原模型召回命中率提升5%。在图嵌入召回中采用EGES算法,不同于原EGES算法中采用Deep Walk随机游走,本次实验中选取Node2Vec游走形式实现EGES图嵌入召回,最后将两种召回结果采用Light GBM模型进行融合形成双路召回。实验证明这种双路召回在实际的电商数据集中的召回效果要好于单路召回。(2)将上下文门控机制Context-Gating引入排序层的算法中,在已有的Wide&Deep模型、Deep FM模型中添加Context-Gating模块将原模型改进为CGWD、CGDFM模型,利用上下文门控机制进一步加强主体特征抑制背景特征。通过在Movie Lens-20M电影数据集上进行验证得出改进后的模型在AUC指标上分别提升了1.60%和0.94%。
基于SE-Net与Context-Gating的推荐算法的研究
这是一篇关于推荐算法,双塔模型,图嵌入,SE-Net,Context-Gating的论文, 主要内容为随着互联网信息技术的飞速发展,网络信息数据呈现出几何级别的爆炸增长态势,由此引发“信息过载”的问题。个性化的推荐系统能很好的解决这一问题。在推荐系统中,推荐算法的选择决定了推荐系统的质量。在工业级别的推荐系统中,推荐算法分为两步,分别是召回层和排序层。召回层高效快速的从数以亿计的原始物品库中选出用户感兴趣的几百个物品,排序层对挑选出的候选物品集进行精准排序以推荐给每个用户。本文主要研究召回层算法和排序层算法,包括如下内容:(1)在召回层提出一种基于SE-Net的双塔模型和图嵌入的双路召回算法。在双塔模型中引入SE-Net模块用以解决原双塔模型中用户塔与物品塔中特征交叉过晚的问题,通过实验验证改进后的双塔模型相比原模型召回命中率提升5%。在图嵌入召回中采用EGES算法,不同于原EGES算法中采用Deep Walk随机游走,本次实验中选取Node2Vec游走形式实现EGES图嵌入召回,最后将两种召回结果采用Light GBM模型进行融合形成双路召回。实验证明这种双路召回在实际的电商数据集中的召回效果要好于单路召回。(2)将上下文门控机制Context-Gating引入排序层的算法中,在已有的Wide&Deep模型、Deep FM模型中添加Context-Gating模块将原模型改进为CGWD、CGDFM模型,利用上下文门控机制进一步加强主体特征抑制背景特征。通过在Movie Lens-20M电影数据集上进行验证得出改进后的模型在AUC指标上分别提升了1.60%和0.94%。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码项目助手 ，原文地址：https://m.bishedaima.com/lunwen/54288.html
