基于CDM技术的敏捷数据管理实践分享｜证券行业专刊·安全村

一、前言

近年来，证券业务快速发展，信息系统变更日益频繁，敏捷开发、快速迭代已经成为支持业务创新的必要条件。数据库作为信息系统运行的重要支撑，数据准备和交付的自动化程度对系统开发、测试效率有大的影响。

二、数据准备遇到的困难

测试数据的准备通常包括数据库备份、数据库脱敏、数据库恢复等几大步骤。在备份环节，我司主要是利用数据库自带的备份功能进行数据库物理和逻辑备份，并通过统一备份平台对备份文件进行备份。

根据测试实际需求，如需要真实数据，我们通常采用灰度环境，灰度环境的数据准备主要有两种方式：直接采用实时备库或者是采用与生产隔离的数据库。

两种方式各有优劣，第一种方式的优点在于数据是实时和生产库同步，省去了数据导入的环节，而且对于某些数据库如ORACLE DATAGUARD可以利用Flashback功能在测试完成之后快速恢复与生产的同步，缺点在于如DB2，SQLSERVER,MYSQL等数据库并不支持一键恢复同步功能，往往需要重新恢复备库以及和主库同步关系；对于第二种方式显著优点是在于与生产环境隔离，导入和恢复都不会影响到生产环境，更加安全，但是往往时间需要更久，因为包括了备份文件传输，数据导入，也牺牲了实时性。

如果数据到测试或者开发环境，根据《证券期货业信息系统运维管理规范》数据用于非生产环境时，应进行脱敏处理。结合我司实际安全要求，脱敏工作必须在进入测试或者开发之前完成。对于全库的数据准备步骤以及时间更加复杂：

需要在脱敏区域对数据库备份文件进行导入还原到脱敏区域；

通过脱敏工具对该库中的敏感数据进行脱敏；

重新进行全库备份；

备份文件通过至少2次传输到达测试环境；

在测试环境进行全库导入/还原。

整个过程经历了2次备份，2次还原，至少2次传输操作，时间长且复杂度高，严重影响测试开发环境数据准备。

除了影响测试数据的准备效率，我们还面临另外一种场景，数据库备份的定期验证。定期验证的重要性不言而喻，有多个案例表明在真正需要用到数据库备份进行恢复时，发现备份文件不可用。尤其是对于一些稳态系统，由于日常迭代需求很低，如果不定期对数据库备份进行验证，一旦遇到需要数据库恢复场景，很可能遭遇备份文件不可用局面。结合行业要求，我司每季度会对所有数据库备份文件进行恢复验证，由于数据库种类繁多，数据量很大，这个工作需要耗费大量时间。

基于以上遇到的问题，我们进行了市场调研，接触到了一种基于CDM（Copy Data Management，数据副本管理）技术，通过对该技术的运用，我们整合了CDM和脱敏相关工具，实现了生产到开发测试环境的数据快速复制，以及备份数据的自动校验。

三、基于CDM技术实践

CDM技术简介

Gartner对CDM的定义是，它从生产环境通过快照技术获取有应用一致性保证的数据，在非生产存储上生成“黄金副本”（Golden Image），这个“黄金副本”数据格式是原始的磁盘格式，可再虚拟化成多个副本直接挂载给服务器，分别用于备份恢复、容灾或开发测试等。

基于CDM技术的敏捷数据管理实践

我们在调研市场后，发现当前主要存在以下三种CDM技术产品：

1、以存储为核心提供的CDM，虽然能够提供快照和克隆功能，但很难实现跨异构存储，构建企业级规则驱动的副本数据平台，并缺乏丰富的数据服务能力，无法提供自动化、自服务等功能。

2、备份软件提供的CDM功能，利用备份技术所创建的副本数据，是一种磁盘快照技术，无法保证数据的一致性，并且同一时间的磁盘快照只能挂载一份，难以满足多应用场景的数据需求。

3、端到端的CDM：把单纯面向恢复的应用场景，变成了面向数据使用的应用场景，通过副本数据在各个业务环节的即时可用，为更多业务场景提供数据支撑。

以存储为核心的CDM和备份软件提供的CDM功能，按照Gartner的定义，属于“类”CDM。我们最终选择了端到端的CDM技术产品，在生产到灰度、生产到开发测试环境的数据快速复制，以及备份数据的自动校验三个应用场景。

图1：整体业务架构拓扑

生产到灰度环境的数据快速复制

利用CDM产品的数据库虚拟化技术，通过一份数据副本，可快速创建出多个虚拟数据副本，这些虚拟数据副本几乎不占用任何存储空间，且整个发布动作可以分钟级完成。

具体流程：

对接生产库备库，定时进行全量，增量备份，并实时备份获取数据归档日志；
当需要数据时，将指定时间点的数据挂载发布到灰度环境（发布到灰度环境上数据不需要脱敏）；
测试结束后，销毁灰度数据库。

生产到开发测试环境的数据快速复制

通过部署CDM方案，分钟内创建完成虚拟数据库并调用脱敏系统对虚拟数据库执行脱敏，脱敏后数据自动推送复制到中间网CDM，经过中间网CDM节点可将脱敏数据分钟级挂载发布到测试网，有效减少开发测试场景中测试数据的准备时间，提高开发测试环境搭建的效率。

（1）网络说明：

生产网和测试网进行物理隔离，生产网和中间网、中间网和测试网分别可点对点打通。

（2）开发测试数据快速交付：

在生产网和中间网分别部署CDM节点；
生产数据脱敏在生产网内完成；
生产网CDM节点将脱敏后的数据推送到中间网CDM节点；
脱敏数据通过中间网挂载发布到测试网开发测试环境；
测试结束后，按策略定期销毁数据。

（3）数据脱敏：

部署CDM前的数据脱敏，需要分别在生产网和中间网各部署一套脱敏系统，生产数据不能直接给到测试网，需要经历从生产网到中间网、从中间网到测试网的两次数据抽取和脱敏，并且是面向整库全量数据的抽取。

部署CDM后的数据脱敏，生产网部署一套脱敏系统，将数据发布到生产网的脱敏环境并执行脱敏任务后，脱敏数据利用CDM节点之间的远程复制功能推送到中间网，并通过中间网挂载发布到测试网。

（4）测试数据版本管理：

开发测试环境在使用数据的过程中存在测试数据版本回退、新老版本并行测试等场景。通过CDM的虚拟数据库版本管理机制，可以实现秒级版本回退操作，以及通过版本快照分钟级创建历史版本数据环境，实现历史环境、当前环境的新老版本并行对比测试。并且，使用中的虚拟数据库可以实现秒级创建动态快照，虚拟数据库可持续保持对外提供服务，不影响测试业务连接。

备份数据的自动校验

校验的主要目的是为了定期检验备份文件有效性，保证在恢复和还原数据文件时的可用。

利用CDM对接我司统一备份平台，实现备份数据的自动化恢复校验。定时抽取备份数据并自动进行有效性验证，保证备份数据的可用。过去，考虑到作业周期长，工作量大，备份数据校验按季度来进行，在CDM方式下可缩短至按周进行。

四、结束语

通过CDM解决方案的实施，我们实现了一个平台、一站式解决数据获取、数据存储、数据构建、数据使用、数据销毁，在保证合规性基础上，以敏捷的数据全生命周期管理，更好地实现数据共享和数据利用。

作者介绍

光大证券基础数据管理团队负责人。

RECOMMEND

往期回顾

关于安全村文集·证券行业专刊

证券行业自身低时延的业务要求以及业务中断的敏感性给安全防护带来了很大的挑战。专刊汇集了证券基金期货行业网络安全防护的最新经验、成果和解决方案，为大家分享一线安全规划、运营、建设的心得和实践经验。

关于安全村