爱奇艺 Opal 机器学习平台：特征中心建设实践

综述

Opal 是爱奇艺大数据团队研发的一站式机器学习平台，旨在提升特征迭代、模型训练效率，帮助业务提高收益。整个平台覆盖了机器学习生命周期中特征生产、样本构建、模型探索、模型训练、模型部署等在内的多个关键环节。其中特征作为模型训练的基石，其重要性不言而喻，如何让用户借助平台的能力，提升其业务侧特征迭代效率，从而达到预期的目标，是作为平台方需要思考的关键问题之一。在 Opal 中，特征生产、存储、访问等共同组成了特征中心的核心功能。本文将重点介绍特征中心相关工作。关于 Opal 的更多介绍，详见：

特征中心是什么

简单来说，特征中心是用来生产、共享、管理机器学习模型特征的工具平台。算法工程师或数据分析人员可以在平台上方便的创建及分享特征，而平台侧协助解决特征生产和使用过程中碰到的各类问题，提高特征的迭代效率。

特征中心基本适用于所有需要特征的场景，典型的如推荐、广告、风控等场景。特征表注册在特征中心中，特征中心可以自动完成在线和离线表的构建，保证在线和离线的一致性，同时保证特征表只存一份的情况下，能够向多人共享特征，减少资源成本。另外特征中心还可以节省时间成本，原来需要复杂的 SQL 操作，比如导出训练表、数据导表等操作，现在在特征中心中都可以通过 Web UI 进行简单的拖拽式配置完成。

特征中心解决的问题

算法模型本质上是一个映射函数，输入数值型的向量，输出是基于某个目标对候选集的排序。在爱奇艺场景中，离线训练时，算法工程师需要先从原始日志抽取出特征，并基于此构建训练样本；在线服务时，要根据端侧用户的用户 ID 和视频 ID 查询出对应的原始特征，并根据 DSL 配置将原始特征转换为训练特征，最后调用预测服务得到预测值。

一般来说，想提高模型效果只能从以下两方面着手：

模型侧优化: 这是一种以优化模型结构、调优模型超参数为主的系统调优策略，通过调整参数不断优化模型的效果指标，我们将对应的优化称为模型侧优化；
数据侧优化：与模型侧优化相对应，这是一种以调整数据集质量为主的系统调优策略，通过改进数据质量来提升模型效果，在做数据侧优化时，可以认为模型是固定的。但实际业务中，人们往往很容易认为模型效果不好，是因为模型不好，但却忽略了数据集本身对模型效果的巨大影响。

业内有共识："数据（特征）决定模型上限，模型结构及调参只是逼近这个上限"，数据侧优化对整体效果提升的重要性不言而喻。那么如何让工程师高效地基于数据侧进行优化？答案是特征中心。平台需要能够解决数据侧优化过程中遇到的各类挑战：

如何应对海量的用户请求？爱奇艺拥有海量观影用户，对特征的访问又是极高频的操作，如何应对高 QPS 的请求是特征中心面临的挑战之一；
如何满足对特征的实时化要求？在广告、推荐、风控场景下，为保证算法模型的输出效果，对特征的实时性要求水涨船高；
如何提高特征的扩展性和灵活性？业务场景日益复杂，特征需求灵活多变。从基础特征到统计序列特征组的生产，从离线特征的简单统计到实时特征的窗口计算、交叉特征等，业务方需要特征中台能够支持逐渐衍生而来的新特征类型和需求；
如何满足快速迭代的业务诉求？特征中台提供的面向业务的 DSL 需要足够场景，特征生产链路尽量让业务少写代码，底层的计算引擎、存储引擎对业务完全透明，彻底释放业务计算、存储选型、调优的负担，彻底实现实时基础特征的规模化生产，不断提升特征生产力。

具体来说，特征中心的功能需要至少覆盖如下几个方面：

特征输入：如何管理业务线的数据源，包括各类文本文件、Parquet 文件、Hive 表等；
特征计算：如何表达特征计算逻辑，从原始日志中高效的抽取出需要的特征；
特征存储：计算出来的特征存放在什么类型的系统中，这里涉及到存储成本和访问效率的权衡；
特征转换：从原始特征到模型特征的转换，包含各类 DSL 的解析及转换。

特征中心整体架构图

根据特征在整个链路中的角色不同，可以将特征分为特征生产和特征使用两大类：

特征生产：解决了如何从各种类型的大数据源中进行特征计算、得到的结果如何存储的问题，平台设计了一套高效的特征计算算子，配合拖拽式的 Web 页面，托管运维用户的特征生产任务，协助用户高效地管理其特征；
特征使用：解决了如何实现特征的线上访问，特征中心通过引入特征视图的概念，实现从特征复用，自定义转换等功能，并提供 Opal Feat View SDK 实现特征的动态序列化，多机房自动感知，就近访问等功能，为业务方屏蔽底层的存储细节，让其专注于业务逻辑上。

特征中心功能介绍

由上一小节可知，特征中心从功能上可分为特征的生产和特征的使用。进一步，根据目标特征的生产时延，可以将特征生产划分为离线特征组和实时特征组。下面将分别介绍其功能。

离线特征组

通常来讲，当需要训练一个机器学习模型时，我们通常会预处理一组数据，将原始数据转化为一个特征向量或者特征集，这个特征向量可以被模型更好的理解和使用。比如，统计一个用户过去一周的购买行为，将这个统计结果作为一个特征。在一些情况下，为了提高处理速度和效率，我们会提前计算这些特征，并将它们存储起来，以备后续使用。我们将这种提前计算并储存的特征集称为离线特征组。

如下图所示，Opal 离线特征组基于用户通过拖拽构建的 DAG 图，从 Source 节点读取数据，数据可以是 Hive 表、Iceberg 表或 TFRecord 和 Parquet 文件，经过中间的由 Opal 抽象出来的计算节点进行数据转换，最终将产出的特征写入在 Target 节点所描述的存储系统中。如图所示，Opal 目前支持各类常见的特征存储格式。

特征元数据管理、特征生产 DAG 配置

通过在平台上拖动左侧的算子进行组合后得到一个 DAG 的生产任务配置，围绕 DAG，平台支持对特征元数据及特征 Schema 等进行管理。

SQL 语法解析及 Schema 推断

平台提供语法解析及校验功能，用户在配置期间即可实时观察到每个算子输出的字段详情，无需到提交任务阶段才发现错误，可降低用户调试时间。

特征质量校验及预警

平台支持对已产出的特征进行各种检查，例如：特征的零值率、空值率、分位数、最大最小值等，并提供可视化的页面，方便用户查看特征质量。

任务重跑及异常告警

目前已有推荐中台、广告算法、业务风控等多个团队接入离线特征生产模块，基于平台产出三百余个特征组，基于 Opal 平台托管式的特征生产模式一方面大幅度的简化了业务方对特征生产上的投入时间，因此可以把更多时间投入到其它链路中，提高迭代效率。

实时特征组

实时特征组不同于离线特征组。离线特征组通常包括可以预先计算和存储的特征，而实时特征组包含的是实时或近实时生成的特征。实时特征的获取和计算通常需要强大的数据基础设施和实时数据处理能力。

实时特征组在许多实时决策和预测系统中是很重要的，例如推荐系统，欺诈检测，金融交易等等。管理好实时特征组，确保实时特征值的准确和及时获取，对于这些系统的性能和实用性起着重要的作用。

与离线特征组类似，Opal 提供了基于 DAG 的实时特征加工流图，实现从 Kafka / Iceberg / MySQL 摄入数据，利用平台集成的算子进行计算，后输出到 Kafka 及其它数据存储介质中。

其它在离线特征组模块提供的功能在实时模块也正逐步增加中。

实时特征生产 DAG 配置

平台提供特征元数据及 Schema 管理，通过各类算子的组合即可完成一个实时特征的配置。

滑动窗口算子示例

通过简单的配置，即可实现窗口转换，用户无需编写复杂的 SQL 语句，大大降低了业务团队的开发成本。

窗口特征合并及状态复用

对于不同窗口周期但滑动步长一样的特征计算任务，Opal 支持对其进行合并，将计算整合在同一个窗口中进行，这样可大幅度节省状态空间，减少任务资源占用。

特征视图

统一离在线特征组端侧访问

离线特征组、实时特征组解决了特征的配置、加工、存储等问题，而特征视图解决了特征的读取问题。如下所示，离线特征组、实时特征组产出特征后，存储在各种不同的离线存储介质中，无法被业务方线上引擎服务直接使用，需要一个灌库服务将特征组从离线存储导入到在线缓存（Couchbase、Redis、HBase等）中，Opal 通过特征视图实现特征的灌库，并提供统一客户端实现特征的读取，用户无需关注特征灌库的细节。

特征转换及特征衍生

在某些情况下，用户需要对已有特征进行转换，例如对原始特征取对数或四则运算后再返给下游。为了支持上述功能，Opal 提供了一套灵活高效的 DSL 特征转换表达式。其基本格式如下：

语法解释：

函数名为平台预定义的关键字
参数可以是 特征变量 或各种类型的 字面值常量

数值集合常量，如：[1, 2, 4]
字符串集合常量，如：['aaa', 'bbb']
特征变量，视图内任意合法的特征名称，由反引号标识，例如：`city`
数字常量，任意合法的数字，例如：123
字符串常量，由单引号标识，例如：'hello world'
集合常量，由中括号标识

转换示例：

Java 客户端接入，简化特征获取流程

平台提供了 Java SDK 以实现对线上特征的访问，如图所示，SDK 屏蔽了底层存储资源，用户无需对接各类复杂的缓存，通过引入 SDK 即可实现对特征的访问。

运维监控大盘

接入客户端后，SDK 会自动向指标服务侧投递指标，用户可以基于 Grafana 大盘监控观察服务是否运行正常。

业务接入

目前分别有广告、推荐、风控业务不同程度的接入了Opal 平台的特征中心，并进行了一系列相应升级改造，接入后各业务的特征迭代效率提升 0.4 倍到 3 倍不等，业务引擎侧获取特征时延降低约 50%，特征侧需求堆积实现零积压。具体业务接入前后架构变迁细节以及给业务带来的收益，可参考文章中业务实践小结。我们也将在后续的系列文章中推出，由业务同学撰写的基于 Opal 的特征评估架构改造的经验分享。

未来规划

未来，Opal 平台上的特征中心将从以下几方面增强功能，助力业务取得更好的效果：