基于会话内异构行为的点击率预测模型
这是一篇关于点击率预测,序列推荐,深度神经网络,注意力机制,用户兴趣的论文, 主要内容为近年来,信息量的不停增长变成了困扰人们生活的因素之一,而推荐系统的出现很大程度在生活中给人们带来了便利。点击率预测任务作为推荐领域中的重要一部分也有着重要的意义。点击率的提升不仅可以为快速地给用户筛选符合其偏好的信息及商品提供依据,同时也可以为公司带来巨大收益。在点击率预测的过程中涉及了诸多因素,相关研究者们正在不断探寻着这些因素对于点击率预测任务的影响。现有的点击率预测研究方法存在以下不足:第一,用户的行为序列中存在着多种异构行为,这些异构行为能在不同程度上表现用户的兴趣所在,现有的研究并没有充分考虑用户行为序列中的不同行为对于其兴趣的影响;第二,同一个会话中可能存在多个兴趣,现有的研究假设一个会话只对应着一个兴趣,而无法区分特定于某个类型兴趣之间的依赖关系。为了解决上述问题,本文做了如下研究:首先,针对用户兴趣对其行为类型的影响考虑不充分的问题,提出一种基于会话内异构行为的点击率预测模型(The Model Based on Heterogeneous Behaviors in Sessions for Click-through Rate Prediction,HBS4CTR),通过将用户与项目交互时产生的行为序列按照行为类型进行处理,将注意力机制注入到了同个会话的不同行为类型上以学习每个类型的行为对会话兴趣的影响权重,并形成新的会话表征,然后进行会话兴趣的提取,最后学习会话的兴趣与目标项目之间的关系并做出点击率预测。其次,针对同一会话存在多个兴趣的问题,为了避免大量同类型交互项目和少量另一类型交互项目混合后忽视少量交互项目所代表的用户兴趣,提出使用分离会话兴趣的方法,对用户与项目交互时产生的行为序列进行合理的分割处理及重新组合,对于会话的每个交互项目类型都提取出一个相应的兴趣。最后,为了验证HBS4CTR模型的性能,本文将提出的HBS4CTR模型与Youtube Net模型、Wide&Deep模型、DIN模型、DIEN模型和DSIN模型在淘宝广告点击/展示数据集上进行了实验,并对实验结果进行了对比分析。实验结果证明了本文所提出的HBS4CTR模型在预测点击率上具有更好的效果。
基于深度神经网络的点击率预测模型研究
这是一篇关于推荐系统,点击率预测,注意力机制,特征交互信息的论文, 主要内容为针对互联网快速发展导致的信息过载问题,已有众多专家和学者提出了很多有效的解决方案,其中最成功的就是推荐系统。点击率预测一直是推荐系统中一项关键的任务,它可以为用户提供准确的推荐提高用户体验。在推荐系统中线性回归模型和因子分解机模型的应用最为广泛。但是由于这两者都存在一定的不足之处,所以已经有很多研究者进行了改进。在点击率预测任务中,如何能够准确地提取用户特征组合信息显得尤为重要。由于注意力机制在自然语言处理和计算机视觉任务中的应用都取得了非常不错的效果,研究者们也开始将注意力机制引入到点击率预测领域中来更加准确地获得特征交互组合信息,可以通过利用多层注意力机制模块来显式地提取不同阶特征组合。另外,卷积神经网络一直是图像特征提取的有效手段,将卷积神经网络应用到点击率预测领域中来进行特征提取也是有效的方法。论文通过自注意力机制来显式地构建多阶特征交互信息并分别利用SENet和SKNet模型自动学习各个阶次特征信息的重要性来更加准确地提取高阶特征组合信息。同时,论文还提出了特征增强网络并将其作为增强点击率预测复杂模型的方法。在基于知识图谱的点击率预测模型中将尾实体集合当做图像数据。利用卷积神经网络进行特征提取并通过使用不同大小的卷积核来捕获不同感受野下的特征信息,并将融合了多种感受野信息的特征向量通过全连接神经网络来重建尾实体特征。
基于通道注意力与多粒度特征融合的点击率预测方法研究
这是一篇关于点击率预测,推荐系统,通道注意力,深度学习的论文, 主要内容为随着互联网发展如火如荼,满足各类商业要求的在线广告不断涌现,与之相关的数据呈现爆炸式增长态势。为应对庞大数据中的信息过载问题,利用物品信息、用户画像和历史记录等数据,对不同用户进行个性化推荐的点击率预测技术应运而生。有关点击率预测的研究,在挖掘用户兴趣、强化宣传效果、优化广告投放成本等方面具有重要的理论与实际价值。然而最近的研究表明,目前主流的点击率预测方法仍存在数据稀疏、特征粒度单一以及特征挖掘不充分等问题。在近年来深度学习浪潮的影响下,利用深度学习发现并挖掘数据中隐藏的特征及组合已经成为点击率预测领域流行的研究趋势。深度学习中的特征粒度分析和通道注意力机制,能够构建更为接近实际复杂数据的拟合函数,在多种维度上对特征进行抽象学习。在深入研究现有点击率预测方法后,该文针对目前点击率预测方法存在的不足,基于通道注意力与多粒度特征融合的点击率预测方法进行研究。分别从双线性积多粒度数据特征表示学习、重要特征及交互信息挖掘和融合动态通道注意力三个方面对研究进行展开,主要工作体现在:(1)提出了一种基于双线性积的多粒度点击率预测方法从特征对点击率预测的影响而言,细粒度的特征表示方式能够保留更多有效信息,为点击率预测提供帮助。但过于细粒度的信息在后期输入神经网络计算时,也会带来计算量的增加以及网络模型学习到更多噪声的可能。而粗粒度的特征表示方式虽然节省了计算量,但在计算过程中以信息丢失为代价会影响模型预测点击率的准确性。因此提出一种基于双线性积的多粒度点击率预测方法,目的是通过从两种不同的粒度学习特征,构建出对特征认识更为丰富的模型。该方法所用的双线性特征积方式,针对广告数据的特点,利用了神经网络学习能力,能够有效地使数据潜在信息得以保留,且该方法无需预训练,而是对嵌入向量建立双线性积操作层拟合多粒度的数据特征。通过多组实验证明,基于该方法建立的模型在准确率和损失等方面都得到了提升和优化。(2)提出了一种基于重要特征及交互信息挖掘的点击率预测方法上述方法能够较好地保留特征中的有效信息,确保拟合结果中尽可能多地包含对用户兴趣具有贡献的数据特征,但是不同特征对点击率预测的贡献度有一定差异。因此,为了更好地挖掘重要特征及交互信息,提出了一种基于通道注意力及交互信息挖掘的点击率预测方法。该方法自适应地实现了对于预测贡献较大的特征和交互信息赋予更大的权重,对于结果贡献较小的则赋予较小的权重,使其能够从众多特征及交互信息中挖掘出重要信息。通过在两个大规模广告数据集上的实验结果比较,发现基于该方法构建的模型能够很好地探索出对推荐结果有重要贡献的数据,证明该方法能够有效提高点击率预测准确性。(3)提出了一种融合动态通道注意力的点击率预测方法之前的方法在通道注意力使用上存在维度压缩的问题,没有考虑使用局部跨通道交互策略,在维持维度的条件下挖掘重要特征并保留有效信息。此外,未能使多粒度特征中的丰富信息用于结果预测,在预测结果泛化多样性上仍有提升空间。因此,提出了一种融合动态通道注意力的点击率预测方法,该方法利用一维卷积有效地挖掘数据中的重要特征,并且通过一种自适应选择的一维卷积核保证了在不过度增加模型复杂性的同时提升模型预测的准确性。该方法通过动态通道注意力对软嵌入层输出的数据进行重要特征挖掘,同时,还利用残差特征交互保留了低阶特征中的隐藏信息。最后将动态通道注意力网络输出的动态通道注意力特征和残差特征通过双线性交互后进行融合,并把融合特征送入隐藏门控残差网络拟合其高阶特征,输出点击率预测结果。通过分析实验数据及结果可以发现,依照该方法设置的模型与现有的流行点击率预测模型相比,有着更优的预测结果。
基于因子分解机和深度学习的推荐系统算法研究
这是一篇关于点击率预测,特征交互,因子分解机,深度学习,优化嵌入的论文, 主要内容为随着互联网的蓬勃发展,在线购物、在线广告和在线视频等服务与人们的生活变得密不可分。为了解决信息过载、提升资源分发的效率,推荐系统成为了这个时代应运而生的产物。点击率(Click-through Rate,CTR)预测作为推荐系统中的核心任务,已经有许多模型被提出来实现这一目标。这些模型旨在建模特征间交互作用,利用低阶或高阶交叉特征来提高预测模型的性能。目前基于因子分解机的模型主要是将所有交叉特征求和池化为一个标量,这种简单的计算方式无法充分利用交叉特征维度上的细粒度信息。虽然一些模型提出了不同于哈达玛积和内积的方式学习特征间的交互作用,但这却显著增加了模型的计算时间复杂度。许多基于深度学习的CTR预测模型已经被提出,但是这些模型关注的重点通常只是如何有效地建模特征交互作用,很少有研究者关注如何优化表示特征初始的嵌入向量。针对上述问题,本文在CTR预测领域进行了以下研究:(1)在分析现有主流CTR预测模型的基础上,提出了一个包含七个模块的CTR预测通用框架。大多数CTR预测模型都可以统一在这个框架下。(2)针对一些基于因子分解机的模型不能有效地利用交叉特征的维度信息的问题,设计了二阶特征交互神经网络。其拼接所有的交叉特征后输送到神经网络,充分利用交叉特征向量维度上的细粒度信息。为了优化特征初始的嵌入向量,采用样本感知策略给不同实例的相同特征进行加权,提出了样本感知神经因子分解机。(3)提出了“积”增强网络(Product-enhanced Network,Pe Net)在特征域层级、特征维度层级和全局特征比特层级关注特征初始的嵌入向量。Pe Net通过压缩(Squeeze)、激励(Excitation)和放缩(Scaling)运算改善特征的嵌入表示。为了平衡CTR预测模型的精度和计算时间成本,基于Pe Net和因子分解机设计了积增强因子分解机模型。在特征初始的嵌入向量和Pe Net优化的嵌入向量之间引入了乘法操作,设计了积增强神经网络模型。融合这两类模型进一步提升推荐系统的性能。
基于网络表示学习的推荐算法及应用研究
这是一篇关于表示学习,智能手机应用预测,点击率预测的论文, 主要内容为随着互联网的发展和移动互联时代的到来,互联网用户的规模不断扩大,越来越多的人习惯于使用网络来获取和分享信息,而互联网的飞速发展不可避免地带来了用户数据的快速增长。同时,数据的爆炸式增长也使得用户承受着信息超载所带来的负面影响。在此背景下,帮助用户在海量的信息面前过滤无效的内容,快速定位可能感兴趣的服务或者物品,顺利获取有效的信息,对于优化用户体验,提升用户满意度有着重要的意义。为了解决该问题,推荐系统应运而生,但是传统的推荐系统无法避免由于用户或项目的不断快速增长所带来的数据稀疏性等问题,这些问题对推荐系统的推荐准确性、实时性以及用户体验都造成了一定的影响。近年来,随着机器学习和表示学习技术的发展,推荐系统逐渐与表示学习相结合。表示学习可以将原始数据转换为能够被机器学习算法使用的形式。将表示学习技术和推荐系统相结合,不仅能够学习出更合理的数据表示方式,解决由于数据快速增长导致的数据稀疏性问题,还能学习到用户或者项目之间的拓扑关系和属性关系,从而对推荐系统的推荐效果产生增益。因此,针对不同的推荐场景,融合表示学习技术进行不同的设计都可能带来推荐效果的大幅提升。基于上述背景,本文将网络表示学习技术引入到推荐系统的两个不同的场景下,提出并实现了基于网络表示学习的智能手机应用预测算法SEM和基于网络表示学习的点击率预测算法DSEN。SEM从用户会话的视角学习用户的使用习惯,并根据用户的使用习惯预测用户可能使用的智能手机应用程序序列。为了解决用户会话的异构性问题,我们提出了针对会话的嵌入算法,将用户会话嵌入到特征隐空间中,形成了统一的特征表示,缓解了数据稀疏性问题。得到用户会话的嵌入表示后,我们训练了一个堆叠的循环神经网络模型预测用户的应用程序使用序列。基于真实数据集的大量实验结果表明,SEM优于传统的应用推荐方法。DSEN从用户会话的角度学习用户的潜在兴趣表示,并根据用户的潜在兴趣预测用户对于候选项目的点击率。我们使用针对会话的嵌入算法,将异构的用户会话结构嵌入成统一维度的用户会话向量。为了获得用户的潜在兴趣向量表示,我们使用基于编码器和解码器的序列到序列映射模型,将用户会话向量序列转换为一组用户的潜在兴趣表示序列。同时我们设计了一个动态的用户兴趣调整模块,能够根据待预测项目的不同,自适应的调整用户的兴趣表示向量。基于真实数据集的大量实验结果证明了DSEN在点击率预测问题上的有效性。
基于元学习的广告点击率预测模型研究
这是一篇关于元学习,点击率预测,在线广告,推荐系统的论文, 主要内容为随着网络技术的蓬勃发展,互联网在人们的生产、生活方面产生深远的影响,从海量数据中找寻富有价值的信息变得尤为重要。互联网广告快速发展,在整个广告市场中已经占了 80%左右的份额。广告竞价需要提前预估期望价值,该过程涉及点击率预测模型。点击率预测任务是指通过预测用户点击某种产品的可能性,从而达到提升推荐的成功率的目的。推荐的准确性一方面影响着经济效应,高准确率能为公司带来更大的创收;另一方面影响着用户体验,高准确率能提升用户粘性,有助于企业的可持续发展。在点击率预测任务的实际工业界应用中,越来越多的媒体方提供各自不同的广告场景,广告平台方需要在多场景的情况下运作广告。场景包括不同的手机软件、同一软件不同的广告投放界面模式以及广告的不同表现形式等。现有研究工作主要从用户角度切入,预测用户对各类广告的喜好程度,从而预计广告投放后的收益。上述视角在真实的工业环境实际运作中存在诸多缺陷:(1)仅考虑用户和广告之间的关联,而忽视场景的因素,不同场景下的用户和广告都会呈现不同的倾向,从而导致结果的不同;(2)场景间的数据受限于隐私保护,直白地互通在相关法规下恐怕难以实施;(3)新场景或者小场景的样本量过小,难以为相应场景单独训练出可靠模型,且有限的资源难以提供单独训练所需的离线和在线双重服务。针对以上挑战,本文研究内容围绕广告场景点击率预测任务展开。针对上述场景因素所带来的问题,本文借助元学习方法来进一步处理解决。通过元学习,提出适合点击率预测任务的框架,搭载多种深度学习网络,借助部分大容量的成熟场景数据,进一步提升新场景或小样本场景的模型效果。本文的主要工作包括:1.研究分析广告场景无关点击率预测模型。借助来源于国内最大广告监控平台的广告点击率预测任务多场景数据集,全面分析广告场景对点击率预测任务的影响。2.提出基于元学习的点击率预测框架。传统的模型是通过对某一场景的数据单独训练来学习特征的,这种方法训练而来的模型对场景数据量要求较高,且在多场景背景下需要耗费较大资源。本文提出基于元学习的方法,在现有模型的基础上搭载元学习框架,降低模型适应场景的训练成本和开销,在新场景下达到精准的性能。3.提出学习向量表示的点击率预测模型。点击率预测模型的训练需要大量数据集来提升模型的泛化性,而在元学习过程中数据集规模较小。小数据集的点击预测模型存在以下两个问题:ID嵌入样本较少,无法形成相互关联,使得其标志信息缺失;少量的误点击在小数据集中会使预测模型退化。本文提出了 ID结合用户历史行为和产品特征的适配网络。综上所述,本文探究了在多广告场景下点击率预测任务,基于此背景提出了基于元学习的点击率预测框架,从不同场景中自主学习出关联特征,从而让模型在新场景下效果提升。同时,基于小数据集下现有点击率预测模型存在的问题,提出了学习向量表示的点击率预测模型。本文在真实数据集上进行了实验验证。本文的研究为点击率预测在多场景,少数据的情况下提供了可行的解决方案。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头网 ，原文地址：https://m.bishedaima.com/lunwen/49229.html
