此篇文章发布距今已超过159天，您需要注意文章的内容或图片是否可用！
为了更好的理解本文，建议先看看哲学大师李小龙的这段视频。
顾名思义，数据中台既不是服务于具体业务目标的应用，也不是提供具体技术能力的工具，而是利用技术工具来高效服务业务目标的能力体系，很显然，这不就是中间件嘛。考虑到业务目标的个性化和不稳定的内禀属性和多业务目标的约束，不难找到可观测、可度量、可校验的定义如下：数据中台，就是基于可选的技术工具构建的可“快速、高质量、规模化的定制”满足业务需求的数据结果集的中间件。基于此，该中间件必须要有调度、数据加工逻辑、元数据、数据质量、数据标准、数据模型管理…等等功能。学渣们这时候会坐不住开始嚷嚷：这些工具都有现成的啊，还都挺好使，拿过来组织一下不就行啦？但凡基于Gartner Magic Quadrant里的工具分类来组织能力体系的话，这件事已经烂尾了，烂尾的结局是一开始就注定的。没有任何悬念，非常简单的问题：按这种方式组织的数据中台/数据仓库/数据湖/湖仓一体…随便各种花哨叫法，可有一个实现“快速、高质量、规模化的定制满足业务需求的数据结果集”这个目标的？不能实现目标的手段，不就是扯淡，不就是耍流氓嘛。马爸爸给业界贡献了一个非常好的概念，只是阿里的技术团队支撑不了马爸爸吹的牛逼，后续跟进的技术公司大多也只是划水摸鱼的初心，糟蹋了这个好概念，也辜负了一众花钱的客户，有些可惜…这时肯定还会有嘴硬的学渣说：现实有各种非技术的约束和障碍，从而导致交付的结果不好，但这不能证明技术本身不行。暂且认为这些学渣说的对，先从理论层面开始抽这些学渣的大耳瓜子。黑格尔大师教导我们：整体的概念必定包含局部，但如果按照整体的概念所包含的局部来理解整体，将整体分裂为许多局部，则整体就会停止其为整体。这话比较抽象，打个比方，人包含大脑、耳鼻眼嘴喉、内脏和四肢等器官，但我们不能机械地认为大脑、耳鼻眼嘴喉、内脏和四肢这些器官的组合就是人。套用到数据中台的场景，数据中台需要有调度、元数据、数据质量…等功能，但不能机械的认为这些功能的堆砌就是数据中台。调度、ETL、元数据…这些都是数据中台的功能视图，换而言之，数据中台是“体”，调度、ETL、元数据等是数据中台这个“体”的特定功能的视图，如果没有“体”，如何构建视图？如果视图的构建都是基于各自想象的“体”，那如何通过这些视图还原“体”？皮之不存，毛将焉附？没有抽象层的统一，具象层的共识如何达成？没有共识的具象层，如何协同实现抽象层的目标？非常简单的问题：按照Gartner Magic Quadrant的工具分类来做的实践，“体”是什么？“体”在哪里？“体”是如何约束功能视图间的自洽性？这些问题回答不了，能建设好数据中台，母猪都不会信的啦~如果说理论比较抽象，是不好懂的装神弄鬼，那我们就回到实践来抽这些学渣的大耳瓜子。首先，元数据是描述数据的脉络，提供血缘分析和影响分析的能力；调度和ETL是负责数据的具体加工；这是学渣们能听懂的吧？请问：可有任何一个稍微上规模（比如超过一千张表吧）的实践，有可以准确提供调度和ETL的血缘分析和影响分析的元数据系统？没有基本能力，但凡业务和技术对数据结果的质量有分歧，如何解决分歧？这个分歧都解决不了，谈毛的数据质量？就靠技术人员的吹牛逼和拍胸脯吗？其次，数据质量类似于生产线的QC，如果在数据加工的某个环节中发现了严重的质量问题，需要停止这个环节所影响的后续数据加工，请问，数据质量工具如何高效准确的控制调度系统？或者给调度系统发送清晰且准确的指令？再者，等数据跑批结束，发现结果数据有问题，倒查出某个数据加工环节的代码问题，修正代码问题后，如何用最小代价修复这个代码问题影响的相关的数据质量问题？还有太多，就不一一列举，以上这些都是纯技术能力的基本功吧？这些纯技术的基本功都搞不定，还嘴硬个锤子呢？还想甩锅给管理和业务，可能吗？当然，职业批评家在哪里都是人憎鬼厌的存在，咱也不能只当批评家，还是要去解决问题。解决问题也很简单，就是升维思考，将这些功能融合在一起，并将这个融合的存在串接成数据加工流程，然后，以上那些让学渣们头痛的无解难题，就天然消失了，确实，真就是天然消失，所以说，认知才是第一生产力…又是半小时的随手出品，话糙理不糙，附上宣传彩页，不能白写，必须打广告据统计，99%的数据大咖都关注了这个公众号
好文推荐：
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
宙飒天下网
还没有评论，来说两句吧...