编辑：谈数据
全文共 3657个字，建议阅读 8 分钟
01 什么是数据湖？
数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。
相关概念：
数据湖从企业的多个数据源获取原始数据，并且针对不同的目的，同一份原始数据还可能有多种满足特定内部模型格式的数据副本。因此，数据湖中被处理的数据可能是任意类型的信息，从结构化数据到完全非结构化数据。
企业对数据湖寄予厚望，希望它能帮助用户快速获取有用信息，并能将这些信息用于数据分析和机器学习算法，以获得与企业运行相关的洞察力。
数据湖能给企业带来多种能力，例如，能实现数据的集中式管理，在此之上，企业能挖掘出很多之前所不具备的能力。
另外，数据湖结合先进的数据科学与机器学习技术，能帮助企业构建更多优化后的运营模型，也能为企业提供其他能力，如预测分析、推荐模型等，这些模型能刺激企业能力的后续增长。
企业数据中隐藏着多种能力，然而，在重要数据能够被具备商业数据洞察力的人使用之前，人们无法利用它们来改善企业的商业表现。
再来说下数据仓库。数据仓库为企业了解其历史业务表现和推动持续运营提供了一个接入窗口，为数据分析师和业务用户提供了诸如客户行为、业务趋势、运营效率和销售等方面的信息。但作为数据管理体系结构的一部分，在对数据仓库平台进行投资之前，首先还是要检查企业是否真的需要一个数据仓库平台，以及通过实施部署，企业可以借此获取哪些业务收益。相关的，必须考虑不同的数据仓库部署情况——在企业范围内还是部门范围内，在本地还是在云中。
还需要确定，通常存储在大数据系统中的非结构化和半结构化数据，是否会成为数据仓库环境的组成部分，并确定是否将用于BI、企业报告和在线分析处理(OLAP)等应用的传统数据仓库，与数据处理和大数据分析管理集成在一起。最后，必须将企业的数据仓库用例与最合适类型的数据仓库平台相匹配。
数据仓库的一般概念非常简单：从支持业务流程的操作系统中定期提取数据副本，并将其加载到单独的存储库中，在该存储库中，数据将被合并，然后可用于分析和报告。之后，业务用户和分析师可以通过BI和分析工具、仪表板、入口和准备好的报告来访问数据。- 公司在做出有效的商业活动报告方面遇到了难题，因为所需要的数据不容易获得。
不同部门和用户组会将业务数据复制到电子表格中以进行分析，而这些电子表格并非总是相互一致的。
数据质量和准确性的不确定性，导致企业高管和业务经理会质疑报告的准确性。
针对生产数据库的BI报告会每晚延迟，或在月底进行的交易数据处理，需要扩展处理窗口。
在工作日对数据库运行临时查询会降低操作系统的速度，从而影响内部用户和客户、供应商以及其他外部用户。
一个正确数据仓库实施策略可以帮助企业准确地回答有关业务运营的问题，如发生了什么、为什么。数据仓库可将来自不同位置和来源的数据组合到中央存储库中，从而提高数据的可访问性。当数据移至数据仓库时，通常还会对其进行清理和转换，以使其与分析一致，这将有助于提高查询结果和报告中信息的质量。此外，一旦数据仓库部署完成并得到积极使用，由于BI、报告和分析活动已从生产数据库中移出，运营工作流程可能会变得更有效率。
各个企业之间的数据仓库环境可能会有很大差异。从体系结构的角度来看，部署可以遵循多个路径——如一个企业数据仓库(EDW)，一组较小的数据集市，或这两种方法的组合。EDW包含来自企业操作系统的所有相关数据，并且可能包含一些从外部数据源收集的数据。它是用于BI和分析数据的单个统一存储库，可以在所有部门和业务部门中使用。因此，建立EDW通常是一项艰巨的任务，尤其是在大型企业中。在EDW架构中，企业还可以在其操作系统和企业数据仓库之间实施运营数据存储(ODS)作为过渡步骤。将运营数据复制到ODS，然后提取并加载到数据仓库中。ODS可以用作尚未经过转换的、无法用于分析的数据的暂存区，同时可以用于运行近实时的查询，这些查询需要最新的业务运营的详细相关数据，而不是数据仓库中可用的数据。数据集市是小型化的数据仓库，专注于各个业务部门和职能领域。当需要满足部门对BI的特定需求时，企业通常会选择建立数据集市，并且优先考虑报告功能。数据集市不需要涵盖整个企业的庞大项目，而是更加集中，并且可以更快地提供业务收益。因此，数据集市的方法使企业可以通过一次处理一个业务的各个部分——而不是构建整体的EDW——以迭代方式开发数据仓库体系架构。企业可以选择部署一个或多个数据集市，具体取决于企业的规模和结构。然后，决定组合采用这两种方法的企业，可以将不同的数据集市彼此集成以创建虚拟EDW，或以物理方式填充一个EDW。另一种方式是，以EDW开始的企业可以将仓库数据的子集提供给后来建立的数据集市，以此分离业务运营。每种可用的数据仓库平台类型都有不同的部署选项：数据库管理系统(DBMS)软件，通常基于关系数据库技术；专门的分析型DBMS；数据仓库设备将必要的硬件和DBMS软件捆绑在一个包装中；云数据仓库。将云用于数据仓库已成为更可行的选择。有些供应商已经推出了特定于云的数据仓库平台，而且有些最初设定为本地安装的数据仓库数据库，其供应商现在也提供了基于云的版本。此类产品包括企业自己在云中运行的常规数据仓库系统，以及供应商为用户部署和管理的数据仓库即服务(DWaaS)技术。与其他类型的云系统一样，与本地环境相比，云数据仓库可以减少部署时间，并提供更轻松的可伸缩性和更大的灵活性。还可以节省一定的成本——但这并不能保证，IT经理需要密切关注云中数据仓库的使用，以确保成本最终不会高于预期。同样，数据安全和隐私问题可能是决定是否在本地部署数据仓库的考虑因素。在Hadoop和其他大数据技术首次出现之后，关于它们是否会替代数据仓库，市场上充满了各种声音。但是在大多数企业中，数据仓库并没有消失。相反，它们和大数据系统通常并存，每种系统都支持不同类型的分析用例。
纵观数据湖与数据仓库的技术发展，不难发现两者有着各自的优劣，具体表现如下：
而今企业在进行系统架构设计选型时，需要从具体的分析场景出发，单一的模式已经无法满足企业发展的业务诉求，集中表现在以下两个痛点：
1）数据湖主要以离线批量计算为主，因为不支持数据仓库的数据管理能力，难以提高数据质量；数据入湖时效差不支持实时更新，数据无法强一致性；主题建模不友好，无法直接历史拉链建模；同时交互分析通常将数据搬迁到数据仓库平台，造成分析链路长，数据冗余存储；批流等场景融合不够，无法满足企业的海量数据处理诉求。
2）数据仓库满足不了非结构化数据的分析需求，性价比不高；同时仓湖间难以互联互通，数据协同效率较低，无法支持跨平台透明访问，形成了事实上的数据孤岛，找数困难；缺乏全局数据视图，不同平台接口差异和不同开发管理工具，造成用户开发使用复杂，数据分别管理维护代价高体验差。
数据仓库平台通常基于关系DBMS，并包含源自企业的运营和交易处理系统的结构化数据。数据仓库主要由希望运行基于SQL的、基本BI查询的业务分析人员和执行人员，以及希望创建仪表板和报告以向业务用户提供分析信息的BI开发人员访问。
另一方面，大数据系统通常基于非关系技术，例如Hadoop、Spark和NoSQL数据库。它们包含的数据可以是结构化、非结构化或半结构化的，并且可以源自所有类型的内部系统，以及社交网络和其他外部数据源。大数据分析旨在发现模式、关联和类似的见解——例如，根据过去的活动预测未来趋势和客户行为。通常是由数据科学家和统计人员使用Python、R和Scala等语言开发的复杂分析模型完成的。大数据技术还支持数据湖的概念，数据湖是来自各种来源的原始数据的存储库，可以按原样存储这些数据，然后根据需要对其进行过滤和分析准备。最后，大数据系统并不能直接替代数据仓库和数据集市。实际上，数据仓库和数据湖之间存在协同作用。例如，可以将在数据湖中收集的结构化数据集移动到数据仓库中，以进行常规的OLAP存储和分析。供应商也已开始将大数据访问集成到数据仓库平台中，从而可以从一个位置访问存储在不同系统中的，不同格式的数据。下面介绍一些用例和方案，这可能会影响企业的数据仓库策略，以及决定为数据仓库项目部署哪种类型的平台。初次VS长期数据仓库用户。希望扩展现有数据仓库的公司通常会很好地继续使用他们已经建立的数据仓库平台。对于第一次实施数据仓库的企业而言，数据仓库设备可能是一个不错的选择。供应商可能会与企业一起确定适合的设备规格和配置，而且这些设备的交付是非常简易的。但是，所有数据仓库平台对于首次使用的用户都是可行的选择，企业应该审查本部门中的其他用例，以开发企业特定要求和部署计划。公司规模。大型公司可能会选择主流的关系DBMS、分析数据库或混合事务/分析处理(HTAP)系统。这些企业拥有成功使用此类技术的基础架构和人员。在HTAP方法中，相同的DBMS既可以用于处理业务交易，也可以用于BI和分析建模。为了支持HTAP，关系数据库引擎可以提供内置的列式访问或用于分析处理的附加设备。另一方面，较小规模的企业应考虑使用数据仓库设备或云数据仓库服务。这两种选择都可以最大程度地减少管理需求：设备已预先配置，并且DWaaS环境提供的云中的数据仓库一般由云服务提供商进行设置和管理。IT部门的规模。IT部门相对较小的大型企业往往拥有较少的数据库管理员和其他可以建设、调整和管理数据仓库系统的IT专业人员。对于他们来说，考虑使用数据仓库设备或DWaaS产品也很有意义。云用例。如果企业在云中运行大量应用程序，则DWaaS部署或自我管理的云数据仓库平台可能是企业的最佳选择。将生成和存储在云中的业务数据保存在云中以进行数据仓库和分析是一种符合逻辑的方法。数据延迟要求。对于在分析应用程序中需要最小数据延迟的企业而言，优化的数据仓库设备可能最有价值。使用其他方法也不是说无法实现近实时的延迟，但是企业可能需要使用其他高速硬件和软件来扩展数据仓库环境，以满足性能目标。一旦企业决定需要建设一个数据仓库，并确定了最合理的部署方案，下一步就是研究购买数据仓库平台的可用技术选项。整个过程，往往需要经过万全的考虑。1、
2、
3、
4、
、
6、
7
8
还没有评论，来说两句吧...