数据从生产到应用全流程大致可以分为 5 个步骤,首先是数据的产生,接下来对产生的数据进行收集,再找个容器存储起来,存储后进行处理加工,最后把数据投入应用。大部分数据产品都对应这五个环节。数据生产的过程,可以用水的产生到应用做一个类比。首先,水产生于雨水、以及江河湖海中自然产生的源源不断的水资源(产生),因为我们需要利用水资源,所以人为修建堤坝、水渠、水库来将这些水分流收集并且存储起来(收集&存储)。希望这些水可以为我所用,就需要一些处理流程,进行水净化、过滤、消毒、去污等一系列操作(处理),最终不同处理方式的水可以分别用于饮用水、灌溉、工业生产生活等场景中(应用)。数据的流程和水的生命流程是类似的。
数据集可能位于表、视图、ML 模型或流中。数据可以是原始数据或从多个数据源集成的整理数据。数据产品必须发布其数据模型。 添加语义层的领域模型。该层抽象了存储层的技术布局,并向最终用户公开易于理解的业务术语。该层还存储各种计算、指标和业务转换逻辑。 通过 API 和其他可视化选项访问数据,并强制执行访问控制策略。 数据产品目录也很重要,因为它用于使数据产品可被发现并记录所有必要的属性。该目录可能不是独立的产品,而是现有数据目录的扩展。
长摁二维码图片自动识别并下载本文文档 | ||
编码 1736488829 回复编码 1736488829获取文档 |
回复以下 关键字 获取更多关联文档
数据产品 数据平台 数据中台 数据仓库
相关文档推荐
回复 文档编码 或者 长按文档封面识别二维码 获取对应文档
京东零售大数据平台的落地实践
22371341396
极光大数据平台架构实践
2208474755
湖仓数据平台的技术核心与价值探索
2208474659
农商行数据数据平台建设方案
2208474630
大数据平台通用能力解决方案
回复 文档编码 或者 长按文档封面识别二维码 获取对应文档
相关文章推荐
最近比较受欢迎的文章
说明:本文部分文字与图片资源来自于网络,分享此文是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益,请立即后台留言通知我们,情况属实,我们会第一时间予以删除,并同时向您表示歉意。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...