在线深度学习：爱奇艺效果广告分钟级模型优化

在效果广告投放场景中，媒体侧需要准确衡量每次请求的价值，模型预估值在广告竞价中扮演着核心角色。模型预估精度的提升，是改善媒体侧变现效率、提升广告收益的核心技术驱动力。

此前，爱奇艺效果广告预估模型为小时级模型，从广告投放到效果反馈线上模型有数个小时的延迟。从23年下半年开始，我们致力于从模型时效性优化的方向提升模型能力，将小时级模型升级为分钟级在线深度学习（ODL），在爱奇艺流量取得了6.2%的收入提升。与小时级等离线模型相比，ODL的应用面临着来自工程和效果两方面的挑战，本文总结了ODL落地中遇到的挑战、思考及相应的解决方案。

从整个系统架构来看，ODL的落地需要重点关注如下几个要求和问题：

工程框架：

• 稳定性：流式链路鲁棒性要求较高，需避免积压或中断；

• 时效性：推理端模型更新应具备较高的时效性；

• 兼容性：框架需有良好的灵活性，能够兼容离线/在线、pCTR/pCVR等模型。

• 解决实时样本延迟反馈问题；
• 模型灾难遗忘问题；
• 样本独立同分布要求。

工程框架

图1 

2.模型更新时效性

a.模型训练和导出

天级/小时级等离线训练任务一般是在训练任务完成后，由chief节点导出模型文件。但对于ODL任务来说，chief/worker节点需要持续不断地接收新的样本，因此需要对于evaluator节点进行改造，以在满足batch_size增量要求和10分钟的间隔要求后，导出新版模型。

图2 

模型推理出于灾备和性能考虑，需进行多地、多机房部署。为提高模型更新效率，首先上线了多地机房并行更新，但这也引入了新的性能问题：多地机房数千个容器节点同时从S3下载模型时会遇到速度瓶颈，为了解决该问题导致的模型更新瓶颈，通过icache功能实现机房内P2P分发，降低S3服务压力。

图3 

3.框架灵活性

a.兼容不同场景

图4 

模型效果

1.延迟反馈问题

训练样本的label准确性对于模型学习效果有着直接的影响。

• 首先，即使样本中混杂比例极低的label冲突样本，仍会导致模型效果严重退化。
• 其次，在线训练对于样本时效性要求也比较高，从而能够快速感知用户/广告/上下文的变化。

因此，ODL样本需要在准确性和时效性中进行平衡。在实践中进行了如下几点优化：

• 离线样本：如2.1.3所述，构建天级样本，label准确性高，训练天级模型作为当天ODL模型基线。
• ODL样本：首先让曝光日志等待一段时间（归因窗口），归因窗口结束后，发送1条样本至Kafka。若归因窗口内回收到点击，则标记为正样本，反之为负样本。

• PU-loss思想：若点击在归因窗口外回收到，且归因时长在有效窗口范围内，则再次发送1条正样本，但是该样本会进行特殊标记，对于此类样本，借鉴了PU-loss思想，在交叉熵损失基础上进行调整，用于修正此前发送的负样本对于损失函数的影响。

图5

图6

3.样本独立同分布要求

参考资料：