当前位置:首页 > 行业动态 > 正文

ctr深度学习模型

本文回顾了近3年来主流的深度学习CTR模型,包括微软Deep Crossing、FNN、PNN、Google Wide&Deep、华为DeepFM和Google Deep&Cross等。这些 模型通过引入残差网络、特征交叉层、双网络组合等技术,显著提升了 CTR预测的准确性和效率,推动了计算广告和推荐系统领域的发展。

在广告领域,预测用户点击率(Click Through Rate,简称CTR)是至关重要的任务,随着深度学习技术的发展,CTR预估领域也出现了大量基于深度学习的模型,这些模型在提高预测准确性和效率方面取得了显著成果。

二、常见CTR深度学习模型

1、Factorization-machine(FM):可以看成是线性部分的LR与非线性的特征组合交叉而成,其参数个数为k*n,其中vi是第i维特征的隐向量,长度k<<n,包含k个描述特征的因子,所有包含xi的非零组合特征都可以用来训练vi,缓解数据稀疏问题。

2、Deep Neural Network(DNN):经典的DNN网络结构类似于传统的多层感知机(MLP),输入是原始的特征n维特征空间,通过多层神经元进行非线性变换,最终输出一个值作为CTR预估值,但特征体系庞大且稀疏时,直接使用原始特征作为输入不太现实,通常需要先通过embedding层将高维离散输入变成低维稠密的输入。

3、Factorisation-machine supported Neural Networks (FNN):假设每个field有且只有一个值为1,其他均为0,将原始输入的特征分成n个field,每一个field中只有一个值为1,其余都为0,FM部分的embedding需要预先进行训练,所以FNN不是一个end-to-end模型,FNN对低阶信息的表达比较有限,且假设每个fileld只有一个非零值,对于稠密原始输入或一个fileld有几个非零值的情况,需要进行特殊处理。

4、Product-based Neural Network(PNN):认为在embedding输入到MLP之后学习的交叉特征表达不充分,提出了一种product layer的思想,即基于乘法的运算来体现体征交叉的DNN网络结构,根据product的方式不同,可以分为inner product (IPNN)和outer product (OPNN)。

5、Wide & Deep Model:由Google提出的经典模型,包含Wide和Deep两个部分,Wide部分可以很好地学习样本中的高频部分,对于没有见过的ID类特征,模型学习能力较差;Deep部分可以补充学习样本中的长尾部分,同时提高模型的泛化能力,两部分在端到端的模型里会联合训练。

6、Deep Interest Network (DIN):加入了Attention机制的深度学习网络,能够更好地捕捉用户的兴趣特征,从而提高CTR预估的准确性。

三、模型选择标准

在选择CTR深度学习模型时,应遵循以下原则:

1、模型在业界的影响力较大,被广泛认可和应用。

2、已经被Google、微软、阿里等知名互联网公司成功应用,具有实际效果验证。

3、工程导向,不仅在实验数据上表现良好,还能在实际工程中高效运行。

四、相关项目推荐

除了上述模型外,还有一些相关的项目值得关注:

1、DeepMatch:更侧重于解决匹配相关的问题,如推荐系统的相似物品匹配。

2、DeepCTR-Torch:基于PyTorch的DeepCTR版本,提供更多灵活性和支持更多的GPU架构。

这些生态项目共同构成了一个完整的深度学习CTR解决方案生态系统,能够满足不同场景下的需求。

五、FAQs

1、CTR深度学习模型与传统机器学习模型相比有哪些优势?

答:CTR深度学习模型能够自动学习特征之间的复杂关系,无需人工进行繁琐的特征工程,深度学习模型具有强大的表达能力和灵活的网络结构,能够更好地捕捉数据中的非线性特征,从而提高预测准确性,深度学习模型还能够处理大规模数据,适应不同的数据分布和变化。

2、如何评估CTR深度学习模型的性能?

答:评估CTR深度学习模型的性能通常使用一些指标,如准确率、召回率、F1值、AUC等,在实际应用中,还会考虑模型的在线学习能力、响应速度、资源消耗等因素,通过对不同模型在测试集上的评估结果进行比较,可以选择性能最优的模型进行部署和应用。

六、小编有话说

CTR深度学习模型在广告领域的应用越来越广泛,不断推动着行业的发展,随着技术的不断进步和创新,相信CTR深度学习模型将会更加智能化、高效化,为广告主和用户提供更好的服务和体验。

0