正文

大数据平台的数据收集和数据流向分析

admin
admin V管理员 /0 评论 /139 阅读
0731
此篇文章发布距今已超过207天，您需要注意文章的内容或图片是否可用！

探寻合规之道，共筑数据保障之堡。专注为数据安全管理者、技术专家、隐私法务、律师等专业人士打造的知识共享与交流平台。

点击  "合规社"  > 点击右上角“···” > 设为星标⭐

图
说
安
全
「 图说安全」，洞察在简明。

「  图说安全 」栏目通过将复杂的安全知识简化为直观的图形，揭示每个议题的核心要点，帮助您迅速理解问题的本质，从而深化对安全的认识。

 本期【图说安全】
大数据平台的数据收集和数据流向分析
▽
01.
  概  述  
大数据平台是数据安全关注最多的一种类型，它是一个数据集散地，涉及数据处理及数据安全权限管控。把大数据平台全过程拆解，可分成三段阶段：
1）数据收集：主要从各个地方获取数据源，加载进数据湖或仓库；2）数据加工处理：主要对数据源进行加工处理、数据开发探查，形成数据模型，通过任务提交到正式环境；3）数据共享（服务）：对外提供数据使用和数据服务。
从风险程度看，数据收集和数据服务因涉及第三方责任主体，是数据安全重点关注环节，本文梳理大数据平台的数据汇聚方式和数据流向，识别它们过程可能存在的风险。
02.
  “图”来源  

从事数据数据安全必然会接触大数据平台，有时不得不往前走一步，向大数据专业人士请教，学习一些大数据平台知识。切换到安全视角，产生了一些自己想法，整理形成本文，因本人非大数据专业领域，内容可能存在疏漏或不准确之处，望见谅。

03.
  “图”说明  图”说明
图1:数据收集和数据服务方式（示意图）
上图大致分为四大块：数据源、大数据处理平台、数据使用（内部）、数据共享（外）。

（1）整体框架说明

数据源：包含所有可接入的数据源，企业内部各类系统的数据、企业自主采集数据，采买外部企业的数据，各子公司跨责任主体共享的数据。

大数据处理平台：主要对收集的数据通过类似ETL工具进行数据装载和转换处理，后续数据融合加工分析，形成各类业务主体库，用于业务应用。

数据使用（内部）：以数据服务方式（库表交换、API接口）等在企业内部进行数据共享使用。

数据共享（外部）：以数据产品形式外部企业提供数据服务，常见方式互联网API接口提供数据查询、核验、分析等应用。

（2）常见数据收集方式

主要包括四类：

1. 数据库表形式访问（包括前置库）；
2. API接口提供；
3. SFTP服务器获取；
4. 消息队列或流处理方式获取。
从技术上还可细分为推送或拉取数据，需要确认清楚API接口或SFTP服务器的提供方。此外，从数据实效性看，需要去是离线数据的收集还是实时数据获取，方式上有所不同，如下：
1）离线数据收集
通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件(称之为 Reader)、数据写入插件(称之为Writer)，从而达到任意结构化、半结构化数据源之间数据传输目的。 常见的收集方式如下：

数据集成平台：一套全面的数据集成解决方案，包括数据同步、开发、治理、质量、服务等。类似阿里云DataWorks，支持离线同步、实时同步以及全增量同步，能够处理包括数据库、数仓、NoSQL数据库、文件存储、消息队列等多种不同异构数据源之间的数据同步。

ETL工具：采用ETL（Extract-Transform-Load）工具进行数据抽取、清洗、转换和加载。可以处理多数据源适配、增量数据抽取、数据传输过程中断等问题。用于离线数据同步的工具很多，例如阿里巴巴开源的离线数据同步工具DataX，支持多种异构数据源之间的数据同步。Apache开源工具Sqoop，主要用于在Hadoop与传统数据库（如MySQL、PostgreSQL等）之间进行数据传输。Sqoop支持全量和增量数据导入。国外开源工具kettle，纯Java编写，支持多种操作系统，数据抽取高效稳定。
批量数据处理框架：如Hadoop的MapReduce、Spark等大数据处理框架进行数据的批量处理和分析。
文件传输：通过文件传输协议（如FTP、SFTP）将数据文件从一个系统传输到另一个系统，再通过应用程序处理进入数据仓库。
2）实时数据收集

实时数据收集方式，具体如下：

库表交换

常见的库表交换方式如下：
1.数据库直接连接方式（需开通网络和权限）：通过直接连接到源数据库，使用SQL查询获取数据，然后将结果集写入目标数据库。

2.数据库复制技术：使用数据库的复制特性，如MySQL的二进制日志复制（binlog replication）或Oracle的GoldenGate，实现数据的实时同步。

实际数据对接时，数据提供方的数据源库通常不直接暴露给外部，通过配置数据前置库用于装载必要的同步数据，实现数据获取。数据提供方和接收方均可提供前置库。
API数据网关

如Kong或Amazon API Gateway，为实时数据提供RESTful接口。也可以大数据平台集成API工具或自主开发的API数据网关。

消息队列和流处理

使用Apache Kafka、RabbitMQ等消息队列系统收集实时数据流。常见的流处理框架如Apache Flink、Apache Storm、Spark Streaming进行实时数据的计算和分析。

（3）数据加解密问题

大数据处理平台需要关注数据加解密问题，如下：

  • 数据源前置库加解密：数据源侧的前置库启用SSL配置实现加密传输,利用数据库加密函数对发送的数据进行加密，一种用于在客户端和数据库服务器之间建立加密连接的安全技术。

  • API数据网关加解密：API采用HTTPS实现通道加密，提供基网关安全功能，比如接口签名、身份认证、加解密、参数校验等，安全地密钥的管理与分发等。📖 推荐阅读 

  • 大数据平台加解密：通常有三次加解密动作。第一次解密不同源数据的密文：大数据平台获取大量不同来源的数据，但是每个数据源的加密方式可能不同，因此大数据平台应按照不同数据源侧的密钥进行解密。第二次大数据平台统一加密存储：采用大数据平台设定的密钥对已经解密的源数据进行统一加密，存储至大数据平台。注意按实际业务情况，可以全量统一加密存储，也可以重要业务数据和敏感信息加密。第三次业务按需解密数据：执行数据开发任务时，需要先使用大数据平台统一密钥进行解密，完成数据处理。

图2:大数据平台三次加解密示例

  • 数据服务的加解密：以API接口为例，对外提供数据服务时，数据产品提供方完成API接口安全配置，为每个客户建立独立的AK/SK，并把密钥分发给每个客户，客户调用API数据服务时，进行安全鉴权和验证。

（4）大数据处理流向分析

图3:大数据处理流向分析

大数据平台数据流向可拆分成六步，如下：

1.大数据平台获取各类数据源。

2.经过ETL工具的抽取、转换和载入过程，实现业务数据实时同步数据至数据仓库的ODS层，该层是贴源数据（与各来源数据几乎一致）。

3.数据被清洗和加工后，进入DWD层，即数据仓库的明细数据层，例如用于存储来自业务系统的原始交易记录，保持较高的数据粒度。

4.如果存在DWM层，可能是对DWD数据进行中等粒度的汇总。

5.在DWD层的基础上，数据被进一步聚合，形成DWS层的汇总数据。基于业务场景诉求，对DWS层数据进行满足业务场景特色的开发形成ADS应用层数据。

6.ADS应用层数据以数据产品、数据服务方式对外数据输出，用于数据查询、统计报表、用户营销、风控模型等业务引用。
04.
  “图”实践  图”

大数据平台是数据处理的核心平台，从事数据安全工作需要了解大数据平台大致框架、数据处理过程及数据流向，然后从安全视角关注其中的数据加解密问题、数据权限管控问题。

本文提及数据处理过程中的多次加解密情况，根据实际情况不同需要向@数据开发工程师了解，针对API接口安全管控需要向@开发工程师了解。另外，需要重点关注密钥的管理，如保存、生成、分发等环节。
针对大数据平台数据处理过程，整理常见的数据安全管控措施供参考，如下：

✅ 数据交互网络通道采用HTTPS协议

✅ 数据包内容进行加密

✅ 采用网络访问策略白名单

✅ 数据进行分类分级（可同步数据源侧的分类分级结果）

✅ 数据库和SFTP账号权限最小化，建议配置只读账号

✅ 数据处理过程的日志记录、满足日志留存要求，并对异常情况进行检测和告警

✅ API接口安全管控

✅ 重要业务数据级别分域存储

✅ 数据库启用SSL加密配置

✅ 条件允许情况增加数据水印（数据混淆、伪行、伪列等措施）

✅ 配备数据库审计，技术所有数据操作

✅ 加强密钥生成、存储、分发等管理

■作者：Smart

■编辑：郑烨

「 图说安全 」专栏合集 
「 数据合规知识星球 」是一个专注于数据安全和个人信息保护的资源和知识集散地。星球提供图解PPT、行业解决方案、数据安全合规管理制度模板、评估工具及评估报告模板、监管政策及标准汇编整理等，帮助组织或个人理解并遵守数据安全合规的法律法规，促进操作和业务流程的安全合规。
「 星球 」之评估检查专栏整理并收录新技术应用安全合规评估工具（数据合规、AI、生成式AI、爬虫合规、个保审计等），如下图：

410+已加入
⬇️⬇️⬇️


推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
ZhouSa.com