正文

Apache SeaTunnel 2.3.9 正式发布：多项新特性与优化全面提升数据集成能力

admin
admin V管理员 /0 评论 /137 阅读
0121
此篇文章发布距今已超过72天，您需要注意文章的内容或图片是否可用！

阅读《2024 中国开源开发者报告》赢大奖，扫码申请享特权

近日，Apache SeaTunnel 社区正式发布了最新版本 2.3.9。本次更新新增了Helm 集群部署、Transform 支持多表、Zeta新API、表结构转换、任务提交队列、分库分表合并、列转多行等多个功能更新！

作为一款开源、分布式的数据集成平台，本次版本通过新增功能、性能优化与问题修复，为开发者与企业用户带来了更加全面的支持。

📥 2.3.9版本下载：https://seatunnel.apache.org/download/

📕 Release Note：https://github.com/apache/seatunnel/tree/2.3.9

👇👇重要功能解读，可以观看视频👇👇

版本亮点

扩展数据处理与监控能力

任务与数据监控

  • 新增Zeta 新API支持通过 REST API 提交任务并获取日志、任务日志淘汰，提供Zeta Manager UI实时可视化功能。
  • Zeta 支持提交任务排队、Rest API 提交 Hocon 格式作业配置、支持 DDL 期间暂停恢复
  • Schema 演进
    • 多个连接器（如 Oracle、StarRocks、Paimon 等）新增对 Schema Evolution（Schema 演进）的支持，进一步降低复杂数据源集成的门槛。

功能增强

  • Transform提供对多表支持、动态类型处理以及合并分库分表等新能力，为复杂数据转换场景提供灵活性。
  • Transform 支持分库分表合并
  • Transform 支持改表名/字段名
  • 支持RowKindExtractor转换操作类型
  • 支持SQL 中列转多行

多源适配

  • 扩展了对新数据源的支持，例如 Milvus 动态 Schema、多表读取和 Redis 数据删除操作等。

大幅提升任务运行效率

  • 资源调度与线程池管理
    • 优化 Zeta 引擎的 CoordinatorService 线程池配置，避免潜在的内存溢出问题。
  • 任务执行模式
    • 支持 Spark 与 Flink 、 Zeta的多表 Transform，减少任务间依赖，提升并发性能。
    • 支持 Oracle-CDC 读取 DDL。
    • Debezium 增强，支持发送到消息队列进行缓冲，支持特殊数据类型及时间类型，可通过多表/表写1个Topic。
  • 数据流传输
    • 改进了 ClickHouse、JDBC 等连接器的写入模式，提升大数据量处理场景的稳定性。

新增 DDL Sink 支持

连接器 PR 作者
StarRocks #8082 jw-itq
Paimon #8211 dailai
Oracle #7908 dailai
Doris #8250 deng-jeffer
Postgresql #8276 hawk9821
Elasticsearch #8412 zhangshenghang

Bug 修复与可靠性提升

  • 支持 Helm 快速部署集群
  • 修复了多项连接器相关问题，如 MongoDB、Kafka、Hive 等连接器的异常处理和功能失效问题。
  • 改善了 Avro 格式对 Null 值的支持，解决了 Excel 数据读取的公式与数值解析错误。
  • 优化了 Docker 部署与 CI 流程，确保系统在不同环境中的一致性。

致谢贡献者

感谢Tyrantlucifer对本次发版工作的指导和帮助，同时感谢以下社区贡献者的共同努力，让本次发版工作顺利完成：

Github ID Github ID Github ID Github ID
Asura7969 Cancai Cai Carl-Zhou-CN CosmosNi
Daniel Duan David Zollo Guangdong Liu GumKey
Jarvis Jast Jeremy Jia Fan
Mohammad Arshad Nian Liu Nova Odysseus Zhang
QiaoJ-Chen SEZ Shashwat Tiwari Shiwanming
Tu-maimes Tyrantlucifer Wanming Shi XQ
Xiaojian Sun YOMO LEE Zhilin Li corgy-w
czs daigoopautoy dailai deng-jeffer
dependabot[bot] dwave eyys fcb-xiaobo
hailin0 happyboy1024 limin linjianchang
litiliu luckyLJY pi-la sohurdc
tyrantlucifer welsh-wen wengys xiaochen
zhangdonghao zhouyh 不忘初心 丑西蒙
峰峰 老王    

Apache SeaTunnel 2.3.9 的发布标志着其在开源数据集成领域的进一步突破。无论是实时数据同步、批流一体化任务处理，还是复杂场景下的 Schema 管理与性能优化，SeaTunnel 都为用户提供了更强大的工具。

作为一个快速发展的 Apache 顶级项目，SeaTunnel 一直秉承社区驱动与开源精神。欢迎广大开发者与企业用户参与社区贡献，共同完善和推广这一数据集成利器。

关于白鲸开源

白鲸开源是一家开源原生的 DataOps 商业公司，已基于Apache SeaTunnel 开发的并推出了商业版软件 WhaleTunnel，提供企业级功能增强、服务、运维、Debug、定期漏洞扫描和修复，无论是产品功能、稳定性、兼容性、速度还是安全性，都比开源版 Apache SeaTunnel 有巨大的进步！感兴趣的小伙伴可以下滑添加市场经理详细咨询~

联系方式

公司网站: www.whaleops.com 联系邮箱: [email protected]

下滑探索更多WhaleTunnel的优势，让我们帮助你构建一个高效、安全的大数据解决方案。🚀

周飒博客-ZhouSa.com