数据资源化阶段主要包括数据模型管理、数据标准管理、数据质量管理、主数据管理、元数据管理、数据开发管理、数据安全管理等七大管理职能。鉴于篇幅有限,本报告对管理职能做概要描述。
(一)主要活动职能
数据模型是指现实世界数据特征的抽象,用于描述一组数据的概念和定义。数据模型管理是指在企业架构管理和信息系统设计时,参考逻辑模型,使用标准化用语、单词等数据要素设计数据模型,并在企业架构管理、信息系统建设和运行维护过程中,严格按照数据模型管理制度,审核和管理新建和存量的数据模型。
数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准管理的目标是通过制定和发布由数据利益相关方确认的数据标准,结合制度约束、过程管控、技术工具等手段,推动数据的标准化,进一步提升数据质量。
数据质量指在特定的业务环境下,数据满足业务运行、管理与决策的程度,是保证数据应用效果的基础。数据质量管理是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。衡量数据质量的指标体系包括完整性、规范性、一致性、准确性、唯一性、及时性等。
主数据(Master Data)是指用来描述企业核心业务实体的数据,是跨越各个业务部门和系统的、高价值的基础数据。主数据管理(Master Data Management,MDM)是一系列规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。
元数据(Metadata)是指描述数据的数据。元数据管理(Meta Data Management)通过根据数据管理和使用需求定义元数据类型,并对元数据进行收集、整理、存储、维护以及利用,以提升数据质量、促进数据共享和增强数据理解。
数据开发是指将原始数据加工为数据资产的各类处理过程。数据开发管理是指通过建立开发管理规范与管理机制,面向数据、程序、任务等处理对象,对开发过程和质量进行监控与管控,使数据资产管理的开发逻辑清晰化、开发过程标准化,增强开发任务的复用性,提升开发的效率。
数据安全是指通过采取必要措施,确保数据处于有效保护和合法利用的状态,以及具备保障持续安全状态的能力。数据安全管理是指在组织数据安全战略的指导下,为确保数据处于有效保护和合法利用的状态,多个部门协作实施的一系列活动集合。包括建立组织数据安全治理团队,制定数据安全相关制度规范,构建数据安全技术体系,建设数据安全人才梯队等。
(二)DataOps新模式
传统数据资源化管理存在活动职能割裂、管理效率不高、管理效果不明等问题,随着企业数据资源化阶段逐渐深入,数据标准管理、数据质量管理、数据模型管理、数据开发管理等陷入了发展瓶颈,亟需引入敏捷、协作、精益等新的理念以寻求变革。DataOps是一种新的数据开发模式,通过构建高效协同机制,建立精细化数据运营体系,打造规范化、一体化的数据开发流程,实现数据产品高质量与高效率地交付。
图1 DataOps框架
数据研发环节打造研发治理一体化。梳理数据研发管理全生命周期的各个工作环节,明确数据质量、数据标准、数据安全等工作在数据研发环节的定位,将数据治理工作融入到研发运营管理的流水线中,形成“先设计、后开发、先标准、后建模”的模式,在研发阶段对数据的质量和安全等问题进行有效管控。敏捷开发方法将数据处理流程划分为多个小部分,并在每个迭代周期中完成一部分数据处理任务,从而实现快速响应需求变化、提速数据交付的目标。
数据交付环节构建自动化测试流水线。通过使用测试工具进行自动化测试,减少人工测试过程中的错误和疏漏。将自动化测试融入持续集成和持续交付流程中,实时监控数据流水线的运行状态,发现问题并及时反馈给研发团队,确保问题能够快速解决。通过建立高效的协同机制,促进开发人员、测试人员以及质量管理人员之间的紧密合作,共同推进测试工作的顺利进行。
数据运维环节提升全链路数据可观测能力。企业通过构建全链路数据可观测能力,实现数据研发运营管理全生命周期的效能、资源、质量、成本等方面进行系统性的监测与度量,帮助企业全面掌握数据研发运营的各环节情况,及时发现问题、反馈问题、处理问题,进而不断优化数据开发全流程。
用数环节引入自助服务提高用数效率。主动利用数据资产。随着企业数据文化氛围的形成,员工数据能力的不断提升,数据需求方可以主动利用自助分析平台进行数据指标、报表、驾驶舱等任务的开发,快速满足自身需求。自助分析平台需要提供完备的数据资产目录、低门槛的功能组件和严格的数据访问控制及数据安全管理。
国内一些头部企业从2020年开始在企业内部进行DataOps理念实践落地,通信运营商、金融、互联网等行业率先搭建起敏捷数据产品开发流程,实现了数据研发效率和需求交付速率的提升。
案例一:浙江移动 |
浙江移动在2020年通过了“数据管理能力成熟度评估”(DCMM)4级认证,是首批通过DCMM4级认证的企业,在此基础上,浙江移动逐步构建了DataOps数据管理模式,打通需求、设计、研发、运维之间的协同壁垒,形成标准化、一体化的数据流水线,通过制度规范保障、技术平台支撑,将数据标准深入设计开发流程,数据安全管控深入租户管理流程,形成工程化、规模化的数据管理能力提升。数据开发方面,需求分析效率提升20%、开发效率提升25%、需求处理率提升28.47%,数据质量问题当天处理及时率提升到96.7%。数据模型设计方面,构建了自动化、可视化的数据模型设计工具和全面的数据标准,通过线上化方式实现数据模型的设计和落标,降低人工依赖,限制人为操作风险,简化设计流程,问题自发现率提升近20%。 |
案例二:工商银行 |
工商银行在2021年成为金融行业首家获评国家数据管理能力成熟度(DCMM)五级的机构,2022年度获评“中国数据管理十大名牌企业”奖项。随着数据规模的快速膨胀以及数据赋能业务发展的迫切需求,集团在数据整合、管理、治理、运营、应用赋能等方面积极创新,通过DataOps提升数据管理效率。优化数据质量管理流程,完善数据质量保障体系,将数据治理要求嵌入业务发展、系统建设、数据应用流程,丰富数据质量监控管理模型,强化数据治理工具支撑,建立数据质量评价体系;设计数据质量检核规则,依托自动化与人工智能技术建立规则库,标准化、自动化、智能化生成数据质量检核规则,覆盖主要业务领域;完善数据源头控制,建立数据录入规范以及数据标准、质量联动机制;构建异常数据智能化监控模型,根据已有数据标准、业务规则,通过语义分析、知识图谱、机器学习等智能方法,发现异常数据,降低数据风险并纳入数据质量管理系统。 |
(三)数据架构全景视图
数据架构立足于企业全局视角,对全量数据资源的基本特性进行描述和管理,确保数据资源与业务活动全面对齐,推动企业从典型场景迈向数据资源化的全景视图。数据架构作为一个独立整体,既是企业架构的重要组成部分,又是数据管理体系的重要基础。数据架构承担着从业务架构向应用架构、技术架构落地的桥梁作用,负责描述业务架构中的数据实体和数据需求,并将其转换为应用架构中的物理数据对象。同时,随着数据资源化各项活动的深入开展,数据架构逐步成为数据治理工作的核心枢纽,将数据共享、数据质量、数据安全、数据开发等工作进行系统串联,破除数据资源化管理工作中出现的孤岛和脱节,形成以架构为核心的联动局面。
数据管理全景视图。企业数据架构从根本上决定了企业数据管理体系的层次、边界和颗粒度,可以全面展现地出数据管理的全部管理对象。企业数据架构更为重要的作用是,为其他领域的工作提供技术基础。数据质量管理可以借助数据架构进行问题原因排查,推动数据质量在源头得到改进和治理;数据开发工作在数据架构的支持下,可以大幅降低需求理解门槛,减少数据开发工作量,同时避免任务的重复开发;数据安全管理借助数据架构可以快速构建全生命周期的整体视图,提高数据分类分级的覆盖程度,准确识别关键数据的关键安全环节;数据共享工作可以通过数据架构快速高效定位数据资源,并有利于将应用系统内外的数据资源有序归集,形成高质量的数据集。
数据资源全景视图。企业数据架构可以很好地描述和管理数据资源的静态属性和动态特性,可以将业务交易侧和数据分析侧的数据资源进行有效整合和统一,为企业提供一张全面的、融合的、变化的数据资源全景视图。数据流和数据分布可以清晰展现数据对象与业务活动的引用关系,帮助企业掌握数据资源的分布和流转情况,有利于数据资源的业务价值识别;企业级数据模型覆盖了企业内所有业务主题,识别和表达了关键的数据需求,可以确保企业高价值数据资源视图没有盲区和死角;公共维度模型和总线矩阵确保企业数据资源得到跨域深度融合,规范数据资源的深度加工和价值萃取,确保数据资源二次、三次价值稳定释放。
数据架构为企业带来全局性、系统性、持久性的数据资源化能力,确保每一个关键数据对象都得到识别、积累和使用,为企业数据资源化活动注入结构性的优化措施,为数据资产化活动构筑一个坚实的数据基础。
免责声明:本号所载内容为原创或整理于互联网公开资料,版权归原作者所有。文章仅供读者学习交流,不作任何商业用途。因部分内容无法确认真正来源,如有标错来源或涉及作品版权问题烦请告知,将及时处理,谢谢!
往期推荐
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...