CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通，其中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ 等。

结合开源项目 CloudCanalProcess ，可方便实现如下功能：

wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理
data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚
data-compare : 数据对比插件，根据源端数据变化进行业务对账
business-alert : 业务告警插件，根据数据变化趋势做出相应告警

CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte，助力开发、DBA 或运维同学快速构建在线数据应用。

Release-Note

亮点

开放 PostgreSQL 向量结合大模型提供 RAG 服务（数据源类型：RagApi），兼容标准 OpenAI 交互协议，支持用 Cherry Studio 等三方工具操作
开放文件（数据源类型：SshFile、S3File、OssFile）到 PostgreSQL 全量迁移结合大模型进行数据向量化(embedding)，结合 RagApi 构建私有数据到服务的 RAG 应用
支持 PostgreSQL 到 PostgreSQL 全量迁移、增量同步结合大模型进行数据向量化(embedding)
支持 MySQL 到 PostgreSQL 全量迁移结合大模型进行数据向量化(embedding)
支持添加 OpenAI、阿里云 DashScope、DeepSeek、HuggingFace、Cohere、LocalAI 等 LLM 类型数据源，为数据向量化和 RagApi 服务

新链路

开放 Dameng -> MySQL/StarRocks/Doris 链路结构迁移、全量迁移、增量同步、数据校验与订正、DDL同步（加列/减列）
开放 Dameng -> ClickHouse 链路结构迁移、全量迁移、增量同步、数据校验、DDL同步（加列/减列）
开放 Dameng -> Kafka 链路全量迁移、增量同步
开放文件数据源（SshFile、S3File、OssFile）到 PostgreSQL 的全量迁移
开放文件数据源（SshFile、S3File、OssFile）到 MySQL 的全量迁移
开放 Greenplum -> Hana 链路结构迁移、全量迁移、额外支持定时全量迁移和过滤条件（程序内和下推）
开放 Greenplum -> Doris 链路结构迁移、全量迁移、数据校验与订正

新特性

支持通过 SSH 获取的 Posix 文件系统文件（SshFile）、AWS S3 文件（S3File）、阿里云 OSS文件（OssFile）数据源
支持文本文件(txt,markdown,json,.java,.c等)、Excel、CSV 到 MySQL 或 PostgreSQL 全量迁移
支持 MariaDB 11.8 版本（实际规则增加了允许所有11.x版本）
支持 Aliyun RocketMQ 5.0 版本
支持 SQL Server 新增 CDC 表静态模式（多位点），任务共享固定 CDC 表名（db_schema_table_cc_static）
支持用户偏好设置 RDB 目标端写入并行策略（参数：increParallelApplyStrategy）
支持 Iceberg 使用用户自定义代码
支持 Redis key 的正则过滤（新增参数：keyRegex）
支持 MongoDB 源端设置目标主键
支持创建任务选表步骤搜索并手动勾选能力，满足数据库有限授权和几十万张表选择几张做迁移同步的需求
支持创建任务时根据用户偏好决定是否获取唯一键信息
支持创建任务在有唯一键无主键表，自动勾选 UPDATE & DELETE 或表变为可选择，且在选列页面自动设置第一个唯一键字段为对端主键
支持 JDK17 运行 CloudCanal 产品，整体运行效率得到提升
支持清理机器日志

优化

优化 Aliyun RocketMQ 测试连接，可探测 Aliyun RocketMQ 实例是否存活
优化 Aliyun RocketMQ 源端重置位点，可通过 timestamp 进行位点重置
优化 SQL Server 元信息获取，提示页面获取速度。
优化 TiDB 源端，支持多 TiSession 请求，提升任务 Region 处理瓶颈（参数：maxPoolSize）
优化 Redis 源端全量大 Key 同步（新增参数： listValueShardSize、hashValueShardSize、setValueShardSize、zsetValueShardSize）
优化 Redis 位点，添加 count 辅助指标，dbIndex 多位点
优化支持 ElasticSearch 对端写入无 format 手动创建 format 的 date 类型
优化 ElasticSearch 对端同步时区转换及带时区数据校验订正
优化初次安装 CloudCanal 需要删除默认 Sidecar
优化数据源列表分类展示，更容易识别