探秘DataOps：传统数据开发范式面临挑战

自2014年大数据写入国家政府工作报告起，我国开始重视大数据产业的发展，陆续发布了《促进大数据发展行动纲要》《大数据产业发展规划（2016—2020年）》《“十四五”大数据产业发展规划》等多个国家级文件，建设数字中国、实施大数据战略成为了我国数字经济发展的核心主线。2019年中央将数据上升到要素层面，2022年“数据二十条”发布，提出建设数据要素市场体系，重点需要完善数据基础制度，加强数据要素、数据产品的供给能力。

从企业侧来看，数字化转型的重点是构建数据驱动的能力，据波士顿公司旗下的NewVantage Partners公司2022年统计，97.0% 的参与组织正在投资于数据计划，已有超过四分之一的企业建成为了数据驱动型的组织。麦肯锡全球研究院数据显示，数据驱动型组织在客户获取率、客户保留率和盈利机率方面分别实现了23倍、6倍和19倍的提升，未来数据驱动型企业将在数据要素市场竞争中抢得先机。成为数据驱动型企业，需要具备三大基本能力，一是坚实的数据平台，二是完善的数据管理体系，三是高效的数据产品与应用开发能力。经过10多年的发展，大部分企业构建了以数据仓库、数据湖为基础的大数据平台，实现了海量数据的汇聚、集成、存储与计算。数据管理方面，随着数据管理能力成熟度评估的贯标推广（据统计，自2022年起，每年都有上千家企业完成相关评估工作），推动数据管理的理念快速普及，企业内数据管理体系逐步完善。当前，企业数据能力建设的主要矛盾是旺盛的数据需求与数据生产力不足之间的矛盾。据调研，头部运营商每月平均新产生200多个数据开发需求，平均响应时长为1.5至2周。展开来看，企业数据开发面临五大核心挑战，分别是数据需求的沟通不畅、数据产品交付的效率低下、数据开发与治理的割裂、数据工作协同差以及数据研发的投资收益比低，这些挑战是导致企业内数据生产力的低下的重要原因。

1．数据需求不畅通

数据开发人员和业务人员之间的沟通不畅，业务人员往往不能准确表达自己的数据需求，缺少一定的数据思维。同时，数据开发人员也存在业务经验不足的问题，导致无法准确理解业务需求或者无法满足业务需求。数据需求在供需两端的沟通过程中存在歧义，产生信息差，并耗费了过长的时间，使得交付压力进一步增加。

2．产品交付效率低

随着企业经营与管理活动对数据的依赖程度越来越高，数据需求数量呈爆发式增长，一些大型企业平均每年要面临上千项的数据需求压力。但由于数据研发人员的补充和培养需要较长的周期，导致数据研发引擎需要在超负荷运转的情况下进行交付。确保数据在各个环节中畅通无阻是保障数据工作正常运转的基础。然而，数据工作所涉及的环节链路较长，但数据研发的过程和管理较为松散，标准化、流程化程度低。在这种模式下，当数据研发团队面临大量需求的时候，交付的效率明显不足。数据需求的交付需要一至两周的时间。

3．开发治理两张皮

数据研发工作早期重心侧重于数据的研发交付环节，缺乏对数据治理工作的意识和重视。企业普遍是“先研发、后治理”，在这种模式下，当企业发现数据问题时，数据早已进入到经营生产活动中并产生影响。此时再进行治理已经较难实现有效控制，质量问题一直在源源不断地产生。加之企业内部缺少全链路的数据监控，导致数据在交付端的质量堪忧。据某大型互联网企业统计，平均每发现10个数据质量问题，其中90%的问题都是被数据使用方发现。全链路监测与测试工作的缺失，直接降低了用数方对数据的信任程度。

4．跨域协同难推进

通常情况下，数据研发团队独立存在于软件研发、数据治理等团队，各自独立办公、独立考核。然而，良好数据的应用和产品开发需要明确的业务方向、可信与高效的数据支撑以及承载的软件共同支撑。当前这种职能上的割裂会导致跨团队间的协作和沟通成本极高。企业的组织管理机制阻碍了数据的丝滑流通与交付。

5．开发成本难管控

数据需求激增的背景下，企业投入大量的存算资源与时间去响应需求，但其中一部分的需求是相似或利用率较低的。粗犷式的需求响应模式的背后是大量的存算资源与时间成本的付出。据了解，某互联网企业有62%报表在30天内无人使用，每张报表所浪费的成本在3万元/月。

面对目前数据开发范式遇到的瓶颈，企业需要一种现代化的数据研发、运营、管理实践理论来引导企业高效用数、放心用数，确保数据能够在企业内安全、高质量、高效率地运转，进而释放出更大的数据要素价值，DataOps理念应运而生。

“DataOps”一词首次出现于2014年，莱尼·利伯曼（Lenny Liebmann）在文章中指出“DataOps是优化数据科学和运维之间协作的最佳实践”。

2018年9月Gartner将DataOps纳入到数据管理技术成熟度曲线，定义DataOps为“一种协作性的数据管理实践，专注于改善整个组织的数据管理者和消费者之间的沟通、整合和数据流的自动化”。

对DataOps的定义与当时组织的发展阶段及关注的重点问题有很大的关系。总体而言，DataOps的提出是建立在大数据发展相对稳定和成熟之后，提出方多是厂商或咨询机构，提出的出发点包括强化数据工程的敏捷度、打通数据分析的管道等。

中国信通院云大所自2021年起开始搭建DataOps工作体系，核心围绕DataOps数据研发运营一体化理念，编制《DataOps能力模型》系列标准，共建谷雨社区、谷雨实验室等相关生态，持续编写并发布《DataOps 实践指南》、企业实践指南案例等研究报告；形成了基于DataOps系列标准的以评促建、谷雨生态共建、相关产业研究的服务体系。《DataOps能力模型》系列标准由中国信通院牵头，由来自金融、通信、互联网等领域的行业专家共同制定。该系列标准共分为总体架构、研发管理、交付管理、数据运维、价值运营、系统工具、组织管理、安全风险八项内容。目前DataOps工作组已启动对研发管理、系统工具两项标准的评估测试工作，并正在展开对交付管理标准的编制，欢迎相关单位前来咨询。

《DataOps 实践指南（1.0）》由中国信通院牵头，组织大型银行、通信运营商、头部互联网等企业共同编写，旨在总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设。

联系人：

田老师

13681585066

[email protected]