基于层次结构的点击率预估算法研究
这是一篇关于推荐系统,点击率预估,因子分解机,注意力机制,特征交互的论文, 主要内容为互联网的发展使得推荐系统的重要性越来越高,点击率预估作为推荐系统排序阶段的一项核心任务,直接决定着推荐结果的精确度。有效的点击率预估可以帮助人们完成信息筛选,同时也能为信息提供者带来巨大利益。如何建立高效、准确和稳定的点击率预估模型已成为学界和工业界的研究热点。基于传统机器学习的点击率预估模型,如因子分解机可以显式地捕获低阶的特征交互,但是无法对于高阶的特征交互进行建模。一些基于深度神经网络的点击率预估模型利用神经网络完成特征的复杂交互,但是这些交互大都是隐式的,不足以模拟出用户的兴趣,并且很少有研究者关注如何优化特征表示。针对以上问题,本文在点击率预估领域进行了以下研究:第一,提出一种基于层次注意力的因子分解机模型。由于层次注意力网络的层次性特点,该模型在建模特征交互的时候,可以从低阶交互向高阶交互传递信息,低阶信息影响着高阶信息。此外,通过交互信息的层次传递可以完成特征的层次更新,进而优化特征表示。第二,提出一种基于层次交互网络的点击率预估模型。通过设计的交互网络可以显式地完成特征的低阶交互,同时利用层次结构去优化特征的表示,将特征交互从低阶传递到高阶。此外,在模型中引入了深度神经网络进一步隐式地完成非线性的特征交互。第三,提出一种基于层次注意力及交互网络的点击率预估模型。该模型集聚了层次交互网络的显式特征交互的优势和层次注意力网络的隐式特征交互的优势。并且分别在显式特征交互和隐式特征交互的时候,能够将交互信息从低阶信息流向高阶信息,层次地完成信息的更新,并且逐层优化特征表示。
结合特征重要性与自动特征交互的点击率预估
这是一篇关于点击率预估,用户行为序列,特征交互,注意力机制的论文, 主要内容为为了应对信息过载导致的信息获取困难的问题,人们积极寻找解决办法,推荐系统由此诞生,不断发展的点击率预估技术成为推荐系统中最重要的模块。基于用户行为序列的点击率预估技术,通过对用户的历史行为序列进行分析,能够推导出表示用户兴趣的向量,从而将更契合用户兴趣的物品推荐给用户。论文结合用户行为序列,研究了基于特征重要性和自动特征交互的点击率预估相关技术。传统的将用户行为序列数据输入到深度神经网络中进行学习,会引入噪声,损失一部分信息,无法准确表示用户的兴趣。对此,论文以DIN模型为基础,通过引入SENET网络,来更好地学习特征的重要性信息,结合FM模型进行低阶特征交互,提出了结合特征重要性的点击率预估模型。此外,论文通过引入多头注意力机制,实现自动学习特征的高阶交互,并结合改进后的交叉网络,对用户信息等进行特征交互,提出了结合自动特征交互的点击率预估模型。采用公共数据集和私有数据集,对论文提出的模型进行了对比实验,设计并实现了一个个性化图书推荐系统,证明了论文所提出模型的有效性和实用性。具体来讲,论文的研究工作包括以下几个方面。(1)针对如何准确表示用户兴趣的问题,论文提出了结合特征重要性的点击率预估模型DISFMN(Deep Interest and Senet Factorization Machines Network)。该模型使用了自注意力机制,对用户历史行为序列中物品与候选物品之间的相关性进行学习,并根据相关性的不同,赋予特征不同的权重信息。该模型还引入了SENET网络来学习用户历史行为序列中物品自身的权重信息,增加重要特征的权值信息,同时削弱不重要特征的权值信息,降低噪声带来的影响。该模型同时使用了FM模型对特征进行低阶特征交互,快速而准确地挖掘出特征中潜在的信息。该模型通过以上模块实现了对用户兴趣的准确表示。(2)针对无法保证所有阶数的特征交互都有效的问题,论文提出了结合自动特征交互的点击率预估模型DIMHCN(Deep Interest and Multi-Head Cross Network)。该模型在使用自注意力机制来获取用户兴趣的同时,使用带有残差连接的多头注意力机制来完成自动特征交互,可以实现有效的高阶特征交互。该模型还使用了经过改进的交叉网络,使用交叉网络对用户信息、上下文信息等边缘数据进行了高阶特征交互,对于数据中隐藏的信息进行充分挖掘,相较于直接将用户信息、上下文信息等进行Concat操作,这样更能提高模型的表达能力。(3)在公共数据集以及私有数据集上分别与经典的点击率预估模型进行了对比实验,并通过评价指标来检验模型的实验效果。在所有数据集上,DISFMN模型与DIMHCN模型的实验结果对比基础模型都有了明显的提升,证明了模型的有效性。此外,论文还设置了消融实验,以此来验证各个模块对于模型效果的影响,实验结果表明每个模块对于模型的效果都有着正向作用,证明了各个模块的有效性。(4)论文结合所提出的模型设计并实现了一个个性化图书推荐系统,可以实现针对不同用户的兴趣偏好进行图书推荐。在系统实现部分,图书的推荐结果与用户的阅读兴趣相符合,这表明了推荐结果具有一定的正确性,证明了所提出模型的实用性。
基于用户画像的互联网广告推荐系统的设计与实现
这是一篇关于用户画像,精准推荐,冷启动,点击率预估的论文, 主要内容为随着互联网技术的高速发展与移动终端的不断普及,线上用户在快速获得信息的同时,也面临着信息冗余的问题。信息冗余问题在互联网广告领域尤为明显,将不同类型的广告尽可能精准地推送到目标用户面前,一直是算法工程师的研究目标之一。信息冗余问题的解决,在用户层面,可以节约用户时间,提高用户体验和粘性。在运营层面,可以提高广告投放效率,降低企业运营成本。本文以亚马逊电商广告数据集为基础,设计了基于用户画像的互联网广告推荐系统。本文借助用户行为信息与广告信息,分析了用户的广告喜好与点击习惯,对新广告进入系统的点击率和面向人群进行预测,提高了广告精准推荐的效率。最后,本文为广告推荐算法提出了合理建议和展望。本文在广告推荐系统数据处理、实时/离线推荐等基本需求的基础上设计了系统框架,并对系统中的广告离线/实时推荐、点击率预估、广告冷启动等功能进行了深入的研究工作,本文的主要内容和创新如下:(1)广告离线/实时推荐。广告推荐功能,主要由离线和实时两个模块组成。本文的离线推荐,通过分析用户对广告的历史评分信息,优化历史评分信息矩阵,结合Spark平台中基于矩阵分解的协同过滤ALS算法,以算法推荐与统计推荐相结合的方式对广告评分进行预测、排序、推荐。广告实时推荐模块通过对广告信息进行分析、计算广告之间相似度的方法,根据用户的操作计算出用户对广告的评分后,召回相似广告群粗排,再通过预设的推荐策略精排,实现精准化实时推荐。(2)广告点击率预估。本文广告点击率预估功能的实现,是以广告信息、用户信息和上下文信息作为输入的自变量,以广告点击作为输出的因变量,基于改进NFM模型得到的NFFM模型的基础上,进一步优化,得到Z-NFFM模型进行点击率预估,提升了广告点击率预估的准确率,通过实验验证模型的最终预测准确率相较于传统模型有明显的提升。(3)广告冷启动。广告冷启动指的是广告第一次进入系统推荐群体的选择。本文通过广告信息和用户特征训练LightGBM-LR模型。广告冷启动功能根据新广告信息,对其适配人群的年龄和性别等特征进行了用户画像,压缩了初始推荐用户的范围,并向特定的用户群体进行推荐。
面向电子商务网站的在线广告系统的设计与实现
这是一篇关于展示广告,在线广告,点击率预估,用户行为定向,分布式框架的论文, 主要内容为信息技术的快速发展和互联网业务对于人民生活的不断渗透,深化了互联网广告产业链的日益成熟,业界对于广告投放技术的竞争也日趋激烈。展示广告,尤其是电子商务网站中的在线广告,是互联网生活中的主要广告展现形式之一。随着媒体和电商网站积累了越来越多的用户行为,浏览网页时产生了海量的行为日志,有效的进行用户类别的挖掘和进行精准的投放,成为了互联网广告增加收入的主要手段。点击率预估技术是预估用户在特定场景下对特定广告点击概率的技术,是计算广告中进行精准投放的主要手段之一,但是面对电子商务网站海量的广告和流式的用户日志,广告排序和点击率模型的更新方式成了当前在线广告的技术难点。同时,随着日志数据的爆发式增长,电子商务网站对海量数据存储和并行计算框架的需求也日益迫切。本文正是针对上述需求,设计并实现一个面向电子商务网站的在线广告系统,核心是在海量数据的基础上实现较为通用的电商网站精准广告系统结构。在线广告系统在帮助电商网站降低处理海量日志的技术门槛同时,提升有限流量场景下的广告投放转化效率。本文首先介绍了研究背景,并对当前主要的精准投放广告技术和分布式框架进行了深入的调研。接着,基于对调研结果的分析,确定了在线广告系统的设计方案,包括展示模块、日志收集模块、在线和离线计算模块以及业务逻辑模块。基于此设计方案,详细阐述了系统各个功能模块的细节实现,并对广告投放所涉及到的模型原理进行了说明。最后,对系统的功能和性能进行了有效测试。
基于Attention&DeepFM的点击率预估模型研究
这是一篇关于点击率预估,注意力机制,因子分解机,深度神经网络,用户历史行为序列的论文, 主要内容为科技的进步为互联网提供了迅猛发展的基础,互联网的发展为不同行业提供了更多的机遇和信息财富。在这个被数据包裹的时代中,网民每时每刻都在产生信息数据,例如页面浏览记录、购物记录、点击记录等,从互联网所产生的海量数据中挖掘出有利于用户和互联网服务行业的信息至关重要。电商平台精准推送出用户喜爱的广告产品能够为用户带来良好的购物体验,以及为广告商带来丰厚的收益。点击率预估是推荐系统中一个关键的技术要点,如何精准预估出用户点击某事物的概率一直是工业界和学术界热门的话题。深度学习在解决点击率(CTR)预估问题上有良好的效果,但近年来所提出的点击率预估模型依然存在不足。本文研究对比各类流行的点击率预估模型,提出了一种更加新奇有效的Attention&DeepFM模型,并通过实验验证出模型的有效性。本文主要研究内容如下:(1)本文对两大公开数据集Amazon(Beauty)数据集和beer＿reivews数据集进行数据处理,将数据按时间重新构造成用户历史行为序列,并根据新序列划分训练集、验证集、测试集。(2)研究当下各种流行的点击率预估模型以及其衍生模型进行实验分析,对比各模型的优势与不足明确研究方向。深度兴趣模型学习能力强,不需要复杂人工特征工程,但用户行为序列信息利用不充分,各模型忽略了用户兴趣的动态变化,且低阶、高阶特征信息往往没有兼顾利用。本文探讨并研究一种兼顾低阶、高阶特征交互信息和提取用户兴趣的点击率预估模型。(3)提出Attention&DeepFM模型。本模型结合了流行模型的优点,规避了不足。模型通过Embedding层将原始高维稀疏映射为低维稠密向量,再分别输入FM模型和改进深度兴趣模型,最后通过多层感知机输出点击率预测结果。改进深度兴趣模型引入了注意力机制能够充分提取用户历史行为序列中的兴趣点,并利用GRU网络学习出用户的兴趣演化过程。此外,针对互联网用户原始数据特征高维且稀疏的特性,模型融入FM学习低阶特征交互信息,并利用深度神经网络学习高阶特征交互信息,可以很好优化点击率预估模型性能。(4)通过Amazon(Beauty)数据集和beer＿reivews数据集两大公开数据集进行实验,实验结果表明Attention&DeepFM模型由于能够提取用户兴趣、学习用户兴趣演化过程和学习低阶、高阶特征交互,它的预测性能明显高于其他对照模型。
基于向量特征的推荐算法研究
这是一篇关于推荐系统,点击率预估,词嵌入,因子分解机,向量特征的论文, 主要内容为随着信息技术的发展,各大电子商务、社交平台陆续出现,产生大量的数据信息。然而在海量的数据面前,人们对于有效信息的获取却越来越困难,形成了信息过载。此时,推荐系统成为了缓解信息过载的重要方法。目前推荐系统中的FM类的CTR预估算法在推荐系统中显得越发重要,然而它在学习特征组合时,不能编码领域信息,FFM虽然能够编码领域信息,然而因为参数空间太大,导致线上服务不现实。针对这一需求,本文设计了一种新的点击率预估算法并且结合了用户向量特征,在平衡参数量和运算复杂度的情况下,改善了FM中的低阶特征组合不充分问题,并且向量特征能够编码更多用户信息,进一步提高了推荐系统的预测精度。重点研究内容如下:(1)利用用户互动行为进行多维度召回。用户之间的互动情况在一定程度上表现了用户的兴趣爱好。受词向量嵌入思想的启发将用户的ID特征和项目ID特征分别映射到低维稠密的向量空间中,得到用户ID特征和项目ID特征的向量化表示,通过计算向量特征的余弦相似度来计算用户ID与用户ID和项目ID与项目ID之间的相似性,提出了加入用户互动行为的多维度召回方法,主要包含用户对用户的互动行为、用户对项目的互动以及项目与项目之间三个维度生成的向量特征在召回中的应用。(2)构建了一种深度可伸缩因子分解机模型Deep Fa FM。该模型能够同时学习低阶和高阶特征组合并且具有端到端的训练方式,改善了Deep FM在运算中FM部分对于交叉特性学习不充分的问题,提高了模型的精度,并且Deep Fa FM具有可伸缩因子,可以根据实际生产情况动态平衡精度与运算压力,提高了模型的灵活性。(3)进一步在深度可伸缩因子分解机模型Deep Fa FM模型的基础上,引入了用户向量特征。通过构建用户互动行为列表,生成用户向量特征。在输入特征时通过判断特征类型,进一步改进深度可伸缩因子分解机模型Deep Fa FM。然后将用户向量特征和普通特征同时输入到深度可伸缩因子分解机Deep Fa FM模型中。结合了用户向量特征的模型能够编码更多用户信息,既充分考虑了词语的语义信息,又可以控制词向量的维度,进一步提高了模型的预测精度。
电子商务中视觉搜索的图像表征方法研究
这是一篇关于视觉搜索,点击率预估,偏差,对比学习的论文, 主要内容为视觉搜索是一种新兴的搜索模式,它允许用户直接输入图片来搜索相关的图片。电子商务中的视觉搜索经常与在线广告相结合,图片特征一方面是召回阶段图片检索任务中计算相关性的依据,其提取的质量直接决定图像检索的效果,另一方面作为商品信息的一部分,是排序阶段进行点击率预估的重要特征。因此图片的特征提取至关重要。针对利用图像分类任务获得图像表征的方法存在粗粒度、人工标注成本大、噪声多等问题,本文基于对比学习提出了训练图像特征的方法,首先用自监督的对比学习方法进行预训练,然后利用用户交互行为的对比学习方法微调。用这种方式,获得了用于召回阶段和CTR模型的细粒度的、更有表达力的视觉特征,并在十亿规模上的真实数据集上证明了方法有效性。针对利用用户行为学习图像特征的训练过程引入的样本选择偏差问题,本文基于对比学习,利用设计的除偏网络结构对提取的视觉特征进行重构,再与CTR部分其他的特征拼接,除偏网络和点击率预估模型联合训练,以使相似的低曝光和高曝光的图片表征接近。该方法减少了引入用户行为造成的样本选择偏差,同时保证了CTR的预测效果。本文在真实数据集和在线实验验证了该方法的有效性。
基于深度神经网络的点击率预估模型
这是一篇关于点击率预估,FFM,注意力机制,深度学习的论文, 主要内容为大数据时代,我们生活中的方方面面都出现了信息过载的问题。用户从大量的信息中寻找对自己感兴趣的信息也随之变得困难;而对于信息生产者而言,让自己生产的信息在众多信息中脱颖而出也变得越来越难。推荐系统就是在这样的前提下产生的。推荐系统的主要目的是把合适的信息推荐给合适的人。对于用户而言,推荐系统能将用户感兴趣的内容推送给用户。对于商家而言,推荐系统可以给用户提供个性化服务,提高收入。在推荐系统中,点击率预估是非常重要的一个环节,判断一个商品是否进行推荐需要根据点击率预估的点击率来进行。论文主要研究基于深度神经网络的点击率预估模型的问题,聚焦当前火热和前沿的深度学习技术。论文针对当前存在的深度点击率预估模型,从低维特征的表达和组合特征的表达为切入点,对当前存在的深度点击率预估模型在低维特征表达与组合特征表达这两个层面做了改进工作,主要进行了将FFM中“域”思想引入深度点击率预估模型和将注意力机制引入深度点击率预估模型的两方面工作。本文的主要工作和创新点包括:1.提出了一种基于FFM深度神经网络的点击率预估模型。该方法的主要思想是通过将FFM模型中“域”的思想引入到深度点击率预估模型中,通过“域”的思想对低维输入特征进行多个维度的表达,使得模型可以更好地发现每个特征下包含的规律,最后利用深度神经网络技术进行点击率预估。相关工作已整理发表专利。2.提出了一种基于注意力机制的深度神经网络的点击率预估模型。该方法的主要思想是通过把在图像和自然语言处理领域取得良好效果的注意力机制引入到深度点击率预估模型中。通过注意力机制可以更好的表达特征与特征之间的交互关系,从而使得模型可以更好的表达特征之间存在的规律,最终实现模型性能的提升。本文的两项工作分别从低维特征表达层面和组合特征表达层面对现有的深度点击率预估模型做了改进,使得模型在参数相同的情况下获得了性能的提升。因此,本文方法具有广泛的应用前景。
基于特征交互的在线广告点击率预估算法研究
这是一篇关于点击率预估,特征交互,循环交互网络,三支决策,交互特征选择的论文, 主要内容为在线广告,又称互联网广告,指在搜索引擎、电商平台以及其他在线的网络媒介上投放的广告。随着互联网技术的迅速发展,在线广告在短短二十多年内已经形成了以精准化投放为目标,技术驱动的投放模式。在线广告利润的核心来源于点击率(Click Through Rate,CTR),即广告点击与广告展现的比率,广告的每单次点击都可以给广告主带来收益;另外,在线广告系统一般依据点击率对候选广告进行排序,将用户最感兴趣的广告推荐给用户,可以有效的提升用户的体验,增强用户的粘度。因此,点击率预估任务在整个在线广告技术体系中至关重要。目前,点击率预估任务主要利用给定的用户信息、广告信息以及上下文信息等半结构化数据做出估计,根据得到的点击率推荐出与用户相关的广告结算相应的收益。基于这种场景,用户特征、广告特征以及上下文特征等是点击率预估任务中的重要特征信息。为了提升点击率预估的准确性,往往依靠专家通过人工的方式选择一些特征进行交互,得到更加丰富的异构信息,以求得到更准确的点击率。但是这种方法效率过低而且成本过高,并且一些隐式的特征相关性也难以被发现。因此,如何高效的进行特征交互,并且充分挖掘特征之间的隐含相关信息成为了点击率预估算法研究的重要方向。近年来,为了提升点击率预估模型的表现,点击率预估算法将深度学习挖掘隐式特征的能力和一些显示学习特征交互的能力相结合,取得了巨大的进步。点击率预估任务中学习交互特征的能力成为提升模型预测性能的关键。本文联系实际的应用场景与当下的研究前沿,针对目前点击率预估算法中特征交互的关键问题进行研究,在提升模型表现的同时尽可能提升模型的效率。具体的工作主要有以下三个方面:(1)本文从在线广告的出发,将点击率预估模型分为机器学习与深度学习两大类,简要介绍了点击率预估模型的整体框架以及演变过程,诠释了模型演化的内在逻辑。最后针对模型的评价指标进行了介绍与分析。(2)针对点击率预估算法中特征交互能力不足的问题进行一系列的分析与研究。首先,针对显式特征交互问题构建了循环交互网络,循环交互网络利用矩阵运算显式的进行特征交互,能够利用1×1卷积神经网络学习特征交互之间的非线性关系;循环交互网络还具有循环性,能根据网络层数的不同学习不同阶数的交互特征;其次,为了使模型同时拥有显式与隐式特征交互的能力,本文将循环交互网络与深度学习中的多层感知器相结合,提出了深度循环交互网络。深度循环交互网络可以同时挖掘显式和隐式的交互特征,进一步提升了模型的整体表现。最后,在三个真实数据集上进行了实验,结果表明了深度循环交互网络的优越性能。(3)针对目前点击率预估算法中冗余的交互特征可能带来的噪声问题,本文提出了融合特征交互与选择的点击率预估模型。该模型基于三支决策理论提出了交互特征选择函数,交互特征选择函数可以在一定程度上强化重要的交互特征,保留一般重要交互特征,剔除冗余的交互特征。在三种公开数据集上的实验结果表明,融合特征交互与选择的点击率预估模型在效率和表现上优于现有模型。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码项目助手 ，原文地址：https://m.bishedaima.com/lunwen/49166.html
