基于特征融合和注意力机制的点击率预测模型的研究
这是一篇关于推荐系统,深度神经网络,注意力机制,点击率的论文, 主要内容为在互联网时代,随着商品种类和个数快速增长,顾客需要花费大量的时间和精力去找自己想买的商品。为了解决这个问题,个性化推荐技术应运而生。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着深度学习的发展,其在推荐系统中应用越来越广泛。深度学习在推荐系统的应用主要是捕获高阶的特征组合,相比传统的推荐模型更能发现交叉特征对用户点击的影响。传统的做低阶特征的主要是用因子分解机模型,做高阶特征主要使用深度神经网络,两种模型的结合具有较好的记忆能力和泛化能力,对于推荐系统有很大的提升。但是由于低阶特征和高阶特征对用户点击行为的影响不同,针对该问题,提出基于注意力机制的特征融合的模型ADAFM模型来解决这个问题。本文提出的模型能有效的捕获低阶特征和高阶特征对用户点击的影响,利用因子分解机进行低阶特征的交叉,利用深度神经网络进行高阶特征的交叉,同时对低阶和高阶特征运用注意力机制,来捕获对物品和用户对点击重要的特征,使重要的特征权重增大,忽略不重要的物品和用户特征,加快了模型的训练速度,提高了模型的准确率。本文提出ADAFM模型,相比其他模型,本文提出的模型在Criteo数据集上表现了很好的效果,AUC上提高了1.2%,训练速度上提高了2倍,在损失值收敛速度提高了9倍之多。微信大数据比赛(微信视频号数据集)中表现了很好的效果,u AUC上提高了1%,训练速度提高1.5倍。在算法的应用上,本文通过在网上爬取景区、美食、酒店的数据,收集用户的行为数据,构建用户画像,通过基于用户的协同过滤算法做召回,采用ADAFM算法进行排序。基于Django框架进行开发,基于Kubernetes微服务架构进行部署,开发的功能已集成在微信陆岛城市群智慧旅游小程序中进行使用。结果显示,本文提出的ADAFM模型在点击率预测中得到了很好的效果,明显提升了用户的流量。
面向点击率预估算法的神经网络处理器地址转换优化
这是一篇关于推荐系统,点击率,地址转换,内存管理方法,深度学习的论文, 主要内容为受益于深度学习的快速发展,基于深度学习的推荐系统在包括在线广告、网页搜索、电商购物等互联网平台中发挥了日益重要的作用。在这些推荐系统中,点击率预估算法作为一个能影响推荐物品展现顺序并及时反映推荐质量的核心算法,一直备受业界关注。然而,针对点击率预估算法的训练和推理经常遇到数据量大、特征稀疏度高、迭代更新频繁等挑战。为应对点击率预估算法和摩尔定律失效带来的双重挑战,越来越多的应用服务商和互联网平台企业已将推荐系统和点击率预估算法部署在为其量身定制的专用集成电路(通常称之为神经网络处理器(neural network processing unit,NPU))上,以获得数量级的算力提升和能效比。然而,仍有很多问题与挑战亟待解决。本文重点关注点击率预估算法在NPU上运行时对其地址转换机制带来的挑战。在深入研究了点击率预估算法在NPU上的运行特点后,本文针对目前NPU内存管理器单元(memory management unit,MMU)的性能瓶颈,做出了三点贡献:1.设计并开发了一款基于事件驱动的时钟精确型模拟器MMU-Sim。基于MMU-Sim建立的完整地址转换系统模型,为之后若干种优化方案的实现和验证打下了坚实的基础。2.针对点击率预估算法运行过程中出现的突发性地址转换问题,基于高吞吐的设计原则提出了多流设计和合并请求缓冲区的设计方案,相较于基准方案分别获得了约3倍的平均性能提升和约5倍的平均性能提升,降低了70%-90%的转换延迟。3.针对点击率预估算法运行时访存延迟较长的问题,基于低延迟的设计原则提出了添加页表遍历缓存和二级共享缓冲的设计方案,相较于基准方案分别获得了约2.8倍的性能提升,降低了 90%的地址转换延迟。总之,本文研究了目前主流的推荐系统和点击率预估算法,探讨了 NPU的一般架构和MMU中的地址转换行为,旨在解决集中突发的大量地址转换请求,过于稀疏的访存行为和过长的地址转换延迟这三大难题。本研究以自主研发的事件驱动模拟器工具MMU-Sim为平台,提出了一种吞吐率更高、性能更快、延迟更低的NPU内存管理器架构。实验表明,在处理超大规模嵌入表访问时,新的内存管理器架构相较于主流架构获得了 15.37倍的性能提升,而延迟仅为原先的6.18%,但也新增100%的面积开销。
基于多头注意力机制和图神经网络的点击率预测研究
这是一篇关于高阶组合特征,点击率,多头注意力,图神经网络,GaAN的论文, 主要内容为CTR(click-through rat,点击率)预测在广告推送,个性化推荐,电子商务,信息推送中发挥着重要的作用,而CTR预测依赖对高阶组合特征的建模,然而在最近的研究中却存在着以下问题:(1)分配给所有的高阶组合特征相同的权重,限制了模型的表达能力。(2)传统的特征交互方式(比如内积,外积,哈达玛积)限制了高阶组合特征的表达。(3)使用深度神经网络对特征进行隐式交互,缺乏可解释性。本文基于多头注意力机制和图神经网络解决上面遇到的问题。首先,针对不同的组合特征拥有相同权重的问题,本文基于多头注意力机制提出了AIM(Automatic feature Interaction Machine,自动特征交互机)模型,将多头注意力机制和外积/哈达玛积结合,达到对高阶组合特征分配不同权重的目的,同时本文证明了多头注意力机制结合哈达玛积的组合方式和CIN(Compressed Interactive Network,压缩交互网络)提取高阶组合特征的原理是一样的,之后通过在一阶特征和高阶组合特征中加入残差,能进一步加强一阶特征和高阶组合特征的交互,模型的性能也进一步提高,本文的模型是在向量水平上以显示的方式对高阶组合特征进行建模,通过叠加多个交互层,模型能够构建任意阶组合特征。接着本文研究了图神经网络相关的算法,利用图神经网络强大的表示能力,高性能和高解释性的优点,将图神经网络和CTR预测相结合,提出了基于图卷积神经网络和多头注意力机制的GCAN(Graph Convolutional Attention Networks,图卷积注意力网络)模型,模型使用多头注意力机制来改进Fi-GNN(Feature Interactions via Graph Neural Networks,基于图神经网络的特征交互)模型,解决节点聚合过程中对边的权重建模不充分的问题,之后对残差重新进行研究,在节点聚合过程中加入当前节点信息,并在节点更新过程加入一阶节点信息,能够有效的将一阶特征和高阶组合特征进行组合,同时在GCAN模型结合前馈神经网络提取的隐式组合特征的情况下,性能能够进一步提高。针对多头注意力机制在头数大于一的情况下,会产生多个头和多个权重矩阵,而多头注意力机制却对每个头分配相同的权重,这限制了模型的表达能力,本文基于GaAN(Gated Attention Networks,门控注意力网络)使用平均池化和最大池化对头权重进行建模,解决了基于多头注意力机制的模型无法准确对高阶组合特征权重进行建模的问题,同时提高了模型的可解释性。通过研究将GaAN运用到Auto Int(Automatic Feature Interaction,自动特征交互)模型的结果,证明了GaAN在推荐系统中的有效性,之后本文进一步利用GaAN来改良AIM模型和GCAN模型中的多头注意力机制,使得模型的性能进一步提高。本文在真实世界的两个公开数据集Movie Lens-1M和Criteo上进行了广泛的实验,与最新最先进的模型相比,实验结果证明了模型的有效性。
面向点击率预估算法的神经网络处理器地址转换优化
这是一篇关于推荐系统,点击率,地址转换,内存管理方法,深度学习的论文, 主要内容为受益于深度学习的快速发展,基于深度学习的推荐系统在包括在线广告、网页搜索、电商购物等互联网平台中发挥了日益重要的作用。在这些推荐系统中,点击率预估算法作为一个能影响推荐物品展现顺序并及时反映推荐质量的核心算法,一直备受业界关注。然而,针对点击率预估算法的训练和推理经常遇到数据量大、特征稀疏度高、迭代更新频繁等挑战。为应对点击率预估算法和摩尔定律失效带来的双重挑战,越来越多的应用服务商和互联网平台企业已将推荐系统和点击率预估算法部署在为其量身定制的专用集成电路(通常称之为神经网络处理器(neural network processing unit,NPU))上,以获得数量级的算力提升和能效比。然而,仍有很多问题与挑战亟待解决。本文重点关注点击率预估算法在NPU上运行时对其地址转换机制带来的挑战。在深入研究了点击率预估算法在NPU上的运行特点后,本文针对目前NPU内存管理器单元(memory management unit,MMU)的性能瓶颈,做出了三点贡献:1.设计并开发了一款基于事件驱动的时钟精确型模拟器MMU-Sim。基于MMU-Sim建立的完整地址转换系统模型,为之后若干种优化方案的实现和验证打下了坚实的基础。2.针对点击率预估算法运行过程中出现的突发性地址转换问题,基于高吞吐的设计原则提出了多流设计和合并请求缓冲区的设计方案,相较于基准方案分别获得了约3倍的平均性能提升和约5倍的平均性能提升,降低了70%-90%的转换延迟。3.针对点击率预估算法运行时访存延迟较长的问题,基于低延迟的设计原则提出了添加页表遍历缓存和二级共享缓冲的设计方案,相较于基准方案分别获得了约2.8倍的性能提升,降低了 90%的地址转换延迟。总之,本文研究了目前主流的推荐系统和点击率预估算法,探讨了 NPU的一般架构和MMU中的地址转换行为,旨在解决集中突发的大量地址转换请求,过于稀疏的访存行为和过长的地址转换延迟这三大难题。本研究以自主研发的事件驱动模拟器工具MMU-Sim为平台,提出了一种吞吐率更高、性能更快、延迟更低的NPU内存管理器架构。实验表明,在处理超大规模嵌入表访问时,新的内存管理器架构相较于主流架构获得了 15.37倍的性能提升,而延迟仅为原先的6.18%,但也新增100%的面积开销。
面向点击率预估算法的神经网络处理器地址转换优化
这是一篇关于推荐系统,点击率,地址转换,内存管理方法,深度学习的论文, 主要内容为受益于深度学习的快速发展,基于深度学习的推荐系统在包括在线广告、网页搜索、电商购物等互联网平台中发挥了日益重要的作用。在这些推荐系统中,点击率预估算法作为一个能影响推荐物品展现顺序并及时反映推荐质量的核心算法,一直备受业界关注。然而,针对点击率预估算法的训练和推理经常遇到数据量大、特征稀疏度高、迭代更新频繁等挑战。为应对点击率预估算法和摩尔定律失效带来的双重挑战,越来越多的应用服务商和互联网平台企业已将推荐系统和点击率预估算法部署在为其量身定制的专用集成电路(通常称之为神经网络处理器(neural network processing unit,NPU))上,以获得数量级的算力提升和能效比。然而,仍有很多问题与挑战亟待解决。本文重点关注点击率预估算法在NPU上运行时对其地址转换机制带来的挑战。在深入研究了点击率预估算法在NPU上的运行特点后,本文针对目前NPU内存管理器单元(memory management unit,MMU)的性能瓶颈,做出了三点贡献:1.设计并开发了一款基于事件驱动的时钟精确型模拟器MMU-Sim。基于MMU-Sim建立的完整地址转换系统模型,为之后若干种优化方案的实现和验证打下了坚实的基础。2.针对点击率预估算法运行过程中出现的突发性地址转换问题,基于高吞吐的设计原则提出了多流设计和合并请求缓冲区的设计方案,相较于基准方案分别获得了约3倍的平均性能提升和约5倍的平均性能提升,降低了70%-90%的转换延迟。3.针对点击率预估算法运行时访存延迟较长的问题,基于低延迟的设计原则提出了添加页表遍历缓存和二级共享缓冲的设计方案,相较于基准方案分别获得了约2.8倍的性能提升,降低了 90%的地址转换延迟。总之,本文研究了目前主流的推荐系统和点击率预估算法,探讨了 NPU的一般架构和MMU中的地址转换行为,旨在解决集中突发的大量地址转换请求,过于稀疏的访存行为和过长的地址转换延迟这三大难题。本研究以自主研发的事件驱动模拟器工具MMU-Sim为平台,提出了一种吞吐率更高、性能更快、延迟更低的NPU内存管理器架构。实验表明,在处理超大规模嵌入表访问时,新的内存管理器架构相较于主流架构获得了 15.37倍的性能提升,而延迟仅为原先的6.18%,但也新增100%的面积开销。
新型电商平台广告点击率算法研究与实现
这是一篇关于电商平台,点击率,超图表示,深度学习的论文, 主要内容为随着我国电商行业的发展,各大电商平台需要更加个性化、智能化的方法提升平台的收益以及用户的购物体验。对用户的消费偏好的研究可以准确预测电商平台广告点击率,从而有效实现精准营销和个性化推荐。本文从电商平台用户历史行为序列和商品特征属性两个方面出发,深入电商平台用户、商品特征隐藏的用户兴趣研究。本文贡献总结如下:1.基于用户行为序列特征层面,针对传统循环神经网络处理时序数据的优势但忽略输入序列时间间隔的现象,本文使用了一种时间门控循环单元(Time-GRU)的结构,通过引入时间因素来实现同时预测用户短期兴趣和长期兴趣的目标。其次,本文引入了辅助损失函数来监督用户兴趣特征的提取和Time-GRU的学习。然后,本文在模型中使用了一种基于注意力机制的门控循环单元,以增强与目标广告相关的用户兴趣的影响。最后,针对目标广告等非时序特征中潜在的高维隐性信息以及用户行为序列隐藏的用户兴趣,本文提出一种融合用户兴趣与隐性特征的广告点击率预测模型,从而提升点击率预测的准确率。2.基于商品多模态特征属性层面,针对商品的多模态属性特征隐含的丰富语义以及用户、商品之间的多元关系,本文构建了一种基于超图的多模态特征表示的点击转化率预测模型。该模型利用超图的灵活性和表现力以及图卷积神经网络的表征学习能力,以学习用户、商品的特征表示。模型首先在用户兴趣组层面和商品特征层面建立超图特征表示空间,借助超图学习用户商品之间的多元关系以及商品多模态特征属性的表示,同时引入时间衰减因子刻画用户兴趣的动态性。接着利用基于超图的图卷积神经网络从超图结构中挖掘用户偏好,从而建立一个有效的点击转化率预测模型。最后,本文在重庆新华阅淘网销售数据集和Tik Tok公开数据集验证所提模型的有效性和可靠性。结果表明,本文提出的模型能够有效从用户历史行为序列和商品特征属性层面模拟用户偏好,进而有效提升点击率和点击转化率预测准确率。
基于多头注意力机制和图神经网络的点击率预测研究
这是一篇关于高阶组合特征,点击率,多头注意力,图神经网络,GaAN的论文, 主要内容为CTR(click-through rat,点击率)预测在广告推送,个性化推荐,电子商务,信息推送中发挥着重要的作用,而CTR预测依赖对高阶组合特征的建模,然而在最近的研究中却存在着以下问题:(1)分配给所有的高阶组合特征相同的权重,限制了模型的表达能力。(2)传统的特征交互方式(比如内积,外积,哈达玛积)限制了高阶组合特征的表达。(3)使用深度神经网络对特征进行隐式交互,缺乏可解释性。本文基于多头注意力机制和图神经网络解决上面遇到的问题。首先,针对不同的组合特征拥有相同权重的问题,本文基于多头注意力机制提出了AIM(Automatic feature Interaction Machine,自动特征交互机)模型,将多头注意力机制和外积/哈达玛积结合,达到对高阶组合特征分配不同权重的目的,同时本文证明了多头注意力机制结合哈达玛积的组合方式和CIN(Compressed Interactive Network,压缩交互网络)提取高阶组合特征的原理是一样的,之后通过在一阶特征和高阶组合特征中加入残差,能进一步加强一阶特征和高阶组合特征的交互,模型的性能也进一步提高,本文的模型是在向量水平上以显示的方式对高阶组合特征进行建模,通过叠加多个交互层,模型能够构建任意阶组合特征。接着本文研究了图神经网络相关的算法,利用图神经网络强大的表示能力,高性能和高解释性的优点,将图神经网络和CTR预测相结合,提出了基于图卷积神经网络和多头注意力机制的GCAN(Graph Convolutional Attention Networks,图卷积注意力网络)模型,模型使用多头注意力机制来改进Fi-GNN(Feature Interactions via Graph Neural Networks,基于图神经网络的特征交互)模型,解决节点聚合过程中对边的权重建模不充分的问题,之后对残差重新进行研究,在节点聚合过程中加入当前节点信息,并在节点更新过程加入一阶节点信息,能够有效的将一阶特征和高阶组合特征进行组合,同时在GCAN模型结合前馈神经网络提取的隐式组合特征的情况下,性能能够进一步提高。针对多头注意力机制在头数大于一的情况下,会产生多个头和多个权重矩阵,而多头注意力机制却对每个头分配相同的权重,这限制了模型的表达能力,本文基于GaAN(Gated Attention Networks,门控注意力网络)使用平均池化和最大池化对头权重进行建模,解决了基于多头注意力机制的模型无法准确对高阶组合特征权重进行建模的问题,同时提高了模型的可解释性。通过研究将GaAN运用到Auto Int(Automatic Feature Interaction,自动特征交互)模型的结果,证明了GaAN在推荐系统中的有效性,之后本文进一步利用GaAN来改良AIM模型和GCAN模型中的多头注意力机制,使得模型的性能进一步提高。本文在真实世界的两个公开数据集Movie Lens-1M和Criteo上进行了广泛的实验,与最新最先进的模型相比,实验结果证明了模型的有效性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://m.bishedaima.com/lunwen/48812.html
