正文

国产数据迁移同步工具 CloudCanal v4.6.0.0 发布，开放多条新链路

admin
admin V管理员 /0 评论 /80 阅读
0301
此篇文章发布距今已超过48天，您需要注意文章的内容或图片是否可用！

阅读《2024 中国开源开发者报告》赢大奖，扫码申请享特权

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通，其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ  等。

结合开源项目 CloudCanalProcess ，可方便实现如下功能：

  • wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理
  • data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
  • data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚
  • data-compare : 数据对比插件，根据源端数据变化进行业务对账
  • business-alert : 业务告警插件，根据数据变化趋势做出相应告警

CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte，助力开发、DBA 或运维同学快速构建在线数据应用。

Release-Note

新链路

  • 开放 TDengine -> MySQL 链路 结构迁移、全量迁移、增量同步、数据校验与订正

  • 开放 MySQL -> GreptimeDB 链路 结构迁移、全量迁移、增量同步、数据校验与订正

  • 开放 TiDB -> Greenplum 链路 结构迁移、全量迁移、增量同步、数据校验与订正、DDL 同步（加列/减列/修改列/清空表）

  • 开放 TiDB -> PostgreSQL 链路 结构迁移、全量迁移、增量同步、数据校验与订正、DDL 同步（加列/减列/修改列/清空表）

  • 开放 Greenplum -> OceanBase 链路 结构迁移、全量迁移、数据校验与订正

  • 开放 StartRocks -> StarRocks 链路 结构迁移、全量迁移

  • 开放 Kafka -> Iceberg 链路 增量同步

新特性

  • 支持 Hana、PostgreSQL、Greenplum、SQL Server、Oracle、PolarDB-X、ObForOracle、PolarDB MySQL、StarRocks 端全量同步时的过滤条件下推能力

  • 支持 Iceberg 目标端 timestampz 时间类型

  • 支持 Iceberg 目标端 Truncate、Create Table、Drop Table DDL 同步

  • 支持 Hana 源端链路选择目标主键的能力

  • 支持 PostgreSQL 对端全量迁移前清空数据功能

  • 支持 Kafka 数据源 SASL / SCRAM 认证

  • 支持 Kafka 参数 clientCustomProps 可自定义增加或覆盖生产者消费者的客户端配置

  • 支持 多任务分布式执行数据迁移、同步、校验和订正（并行任务组），大幅度提升关键业务数据流转性能

  • 支持 高级功能-任务组，包括业务组（如多个 Kafka 源端任务、数据汇聚任务、业务属性相似任务）和并行组两种，方便任务管理

  • 支持 带 Date 类型字段的数据过滤条件（高级模式，程序内过滤）

优化

  • 优化 Hana 源端数据清理，使用更加安全的机制清理 CDC 表数据

  • 优化 Hana 源端修改订阅取消表后，自动去掉对于表的位点信息

  • 优化 Oracle 源端增量位点新增最近提交时间戳，以区分延迟是未提交事务还是大流量导致

  • 优化 Oracle 源端增量周期性打印距离当前最久的未提交事务 ID，该事物变更事件数等信息，方便及时处理

  • 优化 类型映射，MySQL bit(1) 到 Doris / StarRocks 为 tinyint，bit 长度定义 > 1 则维持 16 进制字符串写入

  • 优化 类型转换，TiDB bit(1) 写入 Doris / StarRocks 为 tinyint，bit 长度定义 > 1 则维持 16 进制字符串写入

  • 优化 Schema 映射参数 mappingDef 为可修改，解决部分场景替换更新的需求

  • 优化 获取数据任务列表开放 API（datajob/list 和 datajob/queryjob），增加任务当前状态（currTaskStatus）

  • 优化 任务重跑开放 API，增加 autoStart 请求参数以满足类似校验子任务无需自动启动的需求（由主任务的增量阶段触发）

  • 优化 IM 告警测试验证接口判定

  • 优化 IM 各个平台告警对接口调用错误敏感度

问题修复

  • 修复 OceanBase(Binlog) / PolarDB / PolarDB-X 源端同步 ENUM 类型为数字的问题

  • 修复 MySQL 源端修改订阅取消表后重新添加，导致同步字段数据缺失的问题

  • 修复 MySQL 全库同步 CREATE TABLE 预检错误导致目标端未创建的问题

  • 修复 Redis 开启 DB 映射重启任务概率性导致 Key 错位的问题

  • 修复 Oracle 源端时间类型主键全量迁移位点保存错误的问题

  • 修复 Oracle 时间类型主键表写入较慢的问题

  • 修复 Oracle Blob 类型数据过长导致的写入失败的问题

  • 修复 PolarDB MySQL / PolarDB-X 源端在解析 Binlog 时，字段 nullable 属性检测不一致导致的解析报错问题

  • 修复 PostgreSQL 结构迁移默认值元数据获取时，过滤携带精度的强制类型有误的问题

  • 修复 Kafka 依赖切换版本无效的问题

  • 修复 获取 StarRocks 表元数据未过滤 engine 类型为 OLAP_EXTERNAL 的表

  • 修复 任务修改账号密码后创建相似任务报错的问题

  • 修复 Greenplum 源端创建任务时错误预检的问题

  • 修复 任务批量授权带子任务报错的问题

  • 修复 目标端为 StarRocks / Doris / SelectDB / Iceberg 的链路多次批量设置数据分区被覆盖的问题

  • 修复 钉钉消息模版中全部资源授权 ‘@’ 信息缺失的问题

  • 修复 组件、任务日志归档有残留的问题

免费下载和使用

  • 快速上手：https://www.clougence.com/cc-doc/quick/quick_star
宙飒zhousa.om