数据治理的目标
标准化原则:数据标准化是实现高价值数据、支撑以数据为基础的相关业务的先决条件。组织必须制定可参考、可落地的标准。当发生争议的时候,有权威的标准可供仲裁参考。
透明原则:除了一些需要保密的安全措施之外,数据治理相关的文件、数据问题的发现等,都应该是公开透明的,相关人员应该清楚正在发生的事情,以及事情发生后应如何按照原则处理。
数据的认责与问责:数据治理必须解决无人问责的问题,比如将很多岗位列为负责人,最终却没有人真正负责。数据的认责是数据治理的先决条件,数据的问责和考核制度是确保数据治理工作真正落地的制度保障。
平衡原则:在大数据时代,时时刻刻都在涌现海量数据。在进行数据治理工作的过程中,必须在代价和收益之间取得平衡。往往没有必要追求百分之百的数据质量,而对于历史遗留数据,数据标准也不可能对其进行完全约束。很多时候,对于企业来说,数据可商用是平衡原则的重要参考。
变更原则:随着市场和业务的不断发展,数据标准、元数据、数据质量等要求并不是一成不变的,既要控制数据的变更流程,也要主动适应这些变化,推动标准更新。
持续改进原则:业务在不断变化,数据在持续产生,数据治理非朝夕之功,需要持续推动,不断改进,形成长效机制。
数据治理的理论
数据治理的理论在业界并没有一个统一的标准,不同的组织根据自身的理论研究和实践经验,提出了各有侧重的理论体系。国际上比较有名、接受度较高的理论体系的提出者有:DAMA(Data ManagementAssociation,国际数据管理协会)、CMMI(Capability Maturity ModelIntegration,软件能力成熟度模型集成)研究所、DGI(The DataGovernance Institute,国际数据治理研究所)、IBM(International Business Machines Corporation,国际商用机器公司)数据治理委员会和Gartner(高德纳)公司。其中,以DAMA提出的数据治理理论体系最被广泛接受。
DAMA从数据治理生命周期角度对数据资产的管理行使权力和控制的活动(规划、监控和执行)进行了重点研究。定义了数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理、数据质量管理这10个领域,以及目标和原则、活动、主要交付物、角色和职责、技术、实践和方法、组织和文化这7个环境因素,为数据管理提供了完整的结构体系。
CMMI研究所推出的DMM(Data Management Maturity,数据管理成熟度模型),帮助企业组织改善他们整个业务领域的数据管理实践。DMM模型由五大核心过程域和一套支撑流程组成,五大核心过程域包括:数据管理战略、数据治理、平台和架构、数据运营、数据质量。DMM可为公司组织提供一套最佳实践标准,制订让数据管理战略与单个商业目标相一致的路线图。
在我国,由工业和信息化部下属的电子工业标准化研究院牵头,联合多家高校和著名企业提出的DCMM(Data Management Capability MaturityAssessment Model,数据管理能力成熟度评估模型),正在被越来越多的企业和政府机构所接受,作为指导数据治理工作的重要理论依据。DCMM充分结合大数据特点和国内数据治理现状,形成数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生命周期8个核心领域及28个过程域,重点关注数据的管理过程和方法。相较于国外的DAMA等理论体系,DCMM体系的特点是更加符合中国的数据治理现状,如在体系中增加了数据战略、数据标准等核心领域。
DCMM在数据管理的8个核心领域中,将数据管理的成熟度划分成5个等级。
初始级:数据管理主要在项目级体现,没有统一的管理流程,主要是被动式管理。
受管理级:组织已经意识到数据是资产,根据管理策略的要求制定了管理流程,指定了相关人员进行初步管理。
稳健级:数据已被当作实现组织绩效目标的重要资产,在组织层面制定了系列的标准化管理流程,促进数据管理的规范化。
量化管理级:数据被认为是获取竞争优势的重要资源,数据管理的效率可以量化分析和监控。
优化级:数据被认为是组织生存和发展的基础,相关管理流程能实时优化,能在行业内进行最佳实践分享。
数据治理的理论趋势
质量与服务并重:在传统的关系型数据库时代,开展数据治理更多的是为了解决数据质量问题,提升数据决策水平。而在大数据时代,除了保证数据质量之外,对数据治理也提出了更高的要求,数据必须更好地适应不确定性的需求,即插即用,服务不断变化的业务创新,发挥数据更大的价值。在这种要求下,可以通过数据资产管理,在传统的数据治理能力之外,提供数据资产视图能力、数据检索能力、数据共享能力、数据价值运营能力等,实现数据的可见、可懂、可用、可运营,并不断增值。数据管理部门也有机会从一个纯粹的成本中心逐渐转变成企业的创新中心和高利润部门。
人工智能提升数据治理效率:高质量的大数据作为AI的原料,不断地训练出表现越来越出色的AI模型。而反过来,AI也可以反哺大数据的处理能力,帮助人类大幅度提升大数据处理效率。目前很多企业和大数据服务提供商都在探索用机器学习的方式帮助组织增强数据治理能力。通过应用机器学习技术,来识别哪些数据可能有问题,哪些数据是用户的隐私数据。一旦数据特征被确认,就会自动给它们打上标签,从而使用这种自动化的机制来完成一部分数据治理工作。比如当碰到某类有特殊标记的数据时,就会有相应的流程启动。而解决这类问题的传统机制往往需要人工操作,费时费力,在大数据时代,这样的人力成本投入已经不再现实,机器学习可以将这一整串流程完全自动化,且准确率达到较高的水平。在数据安全管理方面,人工智能的介入将帮助组织发现更多可疑的数据窃取、数据泄露的潜在风险,识别潜在的系统攻击,帮助组织建立健全的数据安全管理措施,填补技术上的漏洞。
分布式数据治理:随着云计算、边缘计算的兴起,未来的数据治理必须满足分布式的要求,因为数据治理总是随数据存储的位置而进行。而实现这些,需要数据治理围绕元数据展开,无论数据分散在何处,都可以在数据保留在原地的情况下,通过元数据把它们关联在一起,因此元数据将成为未来数据治理的基础和核心。
扫码进星球下载公众号文件
■
审核:晓洁
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...