正文

数据实时迁移同步工具 CloudCanal v4.9.0.0 发布，支持 GaussDB

admin
admin V管理员 /0 评论 /125 阅读
0805
此篇文章发布距今已超过20天，您需要注意文章的内容或图片是否可用！

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通，其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ  等。

结合开源项目 CloudCanalProcess ，可方便实现如下功能：

  • wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理
  • data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
  • data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚
  • data-compare : 数据对比插件，根据源端数据变化进行业务对账
  • business-alert : 业务告警插件，根据数据变化趋势做出相应告警

CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte，助力开发、DBA 或运维同学快速构建在线数据应用。

Release-Note

亮点

  • 新增 AWS DynamoDB、AWS ElastiCache (Valkey/Redis)、GaussDB 源端数据源

新链路

  • 开放 AWS ElastiCache (Valkey/Redis) -> AWS ElastiCache (Valkey/Redis) / Redis 全量迁移、增量同步、数据校验、数据订正

  • 开放 Redis -> AWS ElastiCache (Valkey/Redis) 全量迁移、增量同步、数据校验、数据订正

  • 开放 AWS DynamoDB -> MySQL / StarRocks 全量迁移、增量同步、数据校验、数据订正

  • 开放 MySQL -> AWS DynamoDB 结构迁移、全量迁移、增量同步、数据校验、数据订正

  • 开放 华为 GaussDB -> MySQL / Oracle / Doris / SelectDB 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL同步（加列、减列、modify、rename、truncate）

  • 开放 华为 GaussDB -> ClickHouse 结构迁移、全量迁移、增量同步、数据校验、DDL同步（加列、减列、modify、rename、truncate）

  • 开放 ClickHouse -> StarRocks / Doris / SelectDB 结构迁移、全量迁移、数据校验、数据订正

  • 开放 Yuque 文档 -> PostgreSQL (向量) 结构迁移、全量迁移

新特性

  • 支持 Redis 到 Redis 非幂等命令（如：incr/decr）因任务重启重复执行（新增参数：enableWriteDeReplay），实现 exactly once 语义

  • 支持 Apache Paimon HDFS 存储方式，当前支持 S3、HDFS、本地文件三种方式

  • 支持 StarRocks 部分列更新（参数：partialUpdateEnabled，partialUpdateMode）, 让增量同步链路更省带宽

  • 支持 Doris / StarRocks 目标端控制校验方式，根据主键的分布特性优化查询性能（新增参数：checkFetchStrategy，checkRangeThreshold）

  • 支持 MySQL / PostgreSQL 获取当前最新文件位点

  • 支持 PostgreSQL / RDS for PostgreSQL 使用 SSL 证书认证

  • 支持 SQL Server 源端联合主键数据校验

  • 支持 ClickHouse 支持 25.4.x/25.5.x/25.6.x

  • 支持 StarRocks 3.4.x 版本 TABLE_TYPE 为 TABLE 的表（适配其新版本元数据变化）

  • 支持 Dameng 源端增量同步单位点任务消费

  • 支持 Redis 使用 TLS 连接，并允许使用自签 CA 证书连接

  • 支持 MySQL / RDS for MySQL SSL 证书认证

  • 支持 Elasticsearch 对端 DATE 类型内置格式

  • 支持 Oracle 源端设置事务超时后自动提交的时间（参数：autoCommitTxTimeoutSec）

  • 支持 创建任务时设置 Kafka 对端副本数

  • 支持 数据清洗 源端字符串转时间（castToDateTimeWithFormat(@params['dt'],'yyyy-MM-dd HH🇲🇲ss')、castToDateWithFormat(@params['d'],'yyyy-MM-dd')、castToTimeWithFormat(@params['t'],'HH🇲🇲ss')）

  • 支持 私有部署开启 MFA 验证，增强账号安全

  • 支持 创建任务设置默认集群（新增用户偏好参数：defaultClusterName），以免用户创建任务忘记指定特定集群导致创建失败

优化

  • 优化 Redis 全量拆分 Key 前生成 del command，解决任务重启后对端重复写入的问题

  • 优化 MySQL 获取 SECURITY_TYPE 为 DEFINER 的视图时根据权限信息检索

  • 优化 MySQL 源端按白名单处理 Create DDL 刷新 MetaHistory 逻辑，MetaHistory 只保存任务相关表的 DDL 信息

  • 优化 SQL Server 元数据获取逻辑，支持获取自定义类型字段

  • 优化 创建任务第一步做限制，目标端 DB2 不显示待创建库

  • 优化 PostgreSQL 源端添加多 DB 增量任务预检

  • 优化 MariaDB 源端表级别 ACTION 添加 CREATE/ALTER/RENAME/TRUNCATE/DROP

  • 优化 获取 AK/SK、重置 AK/SK 以及第三方配置的排布，目前移动到 配置 > 个人资料 > 安全 中

  • 优化 子账号管理页面国际化问题

  • 优化 创建任务按钮布局，下一步按钮位置固定

问题修复

  • 修复 PostgreSQL 修改订阅的子任务合并后 publication slot 没有删除的问题

  • 修复 Kafka -> MySQL / Iceberg 修改订阅没有把主任务的目标主键带上的问题

  • 修复 Kafka -> MySQL / Iceberg 创建相似任务没有带上目标主键的问题

  • 修复 Kafka -> MySQL / Iceberg 修改订阅不增减表只修改目标主键报未进行修改的问题

  • 修复 创建相似任务，修改源端数据源类型，控制台和接口报错的问题

  • 修复 创建任务和创建相似任务，选完库映射再切换数据源类型控制台报错的问题

  • 修复 AuroraMySQL 源端全库同步抛 src table detail is empty 异常

  • 修复 TiDB -> TiDB 结构迁移中复合索引项重复出现导致异常报错的问题

  • 修复 使用相同文件名的私钥/证书认证文件修改数据源认证配置不生效问题

  • 修复 使用 TLS/Kerberos 认证的 Kafka 数据源测试连接显示证书文件不存在问题

  • 修复 源端有 Schema 的链路使用默认目标主键时，修改订阅没有展示该目标主键的问题

  • 修复 任务列表、数据源管理列表、集群列表、状态机列表、环境列表、角色列表、子账号列表查询时页数没有重置的问题

  • 修复 OpenGauss 创建任务时未显示 autoInitReplication 配置的问题

  • 修复 Dameng 源端解析 SQL 字段包含 TimeStamp 关键字解析失败的问题

  • 修复 修改订阅不新增表时修改数据清洗条件不生效的问题

  • 修复 修改订阅减少表时出现 NPE 的问题

  • 修复 Oracle 源端元数据快照不刷新的问题

  • 修复 Oracle 源端 COL x 解析错位的问题

  • 修复 修改子账号名字报错的问题

  • 修复 MariaDB 全量条件下推弹窗展示不正确导致过滤条件失效的问题

免费下载和使用

  • 快速上手：https://www.clougence.com/cc-doc/quick/quick_star
ZhouSa.com