正文

数据集成软件 TIS V4.0.0 版本发布

admin
admin V管理员 /0 评论 /164 阅读
0521
此篇文章发布距今已超过186天，您需要注意文章的内容或图片是否可用！

【深圳】源创会：5.26下午、轰趴馆等你”

TIS的v4.0.0版本终于和大家见面了，v4.0.0着重在以下几方面进行了功能加强和升级。https://gitee.com/qlangtech/tis

功能该要

  1. 飞跃性能，稳定如磐

    TIS依赖的核心框架Flink全面升级到了1.18版本，同时配套的Flink-CDC也升级至3.0.1版本，这意味着TIS在处理大数据量时有了更好的性能保障和更稳定的表现。

  2. 云原生之旅，启航新篇章

    我们将传统的本地部署模式升级为支持Kubernetes的CloudNative部署模式。借助PowerJob的力量，我们的单点同步任务现在可以分布式执行，支持多任务并发，极大地提升了数据同步管道的吞吐能力。

    而且，我们还增加了基于PowerJob的Crontab定时任务触发方式，让T+1离线数据的自动采集变得轻而易举。

  3. 连接世界，无限可能

    我们新增了一系列数据连接器，比如备受期待的PostgreSQL连接器，让数据的无缝对接变得更加丰富多彩。

  4. 透明流程，掌控全局

    我们对部署流程进行了优化，特别是对于那些包含长时间等待操作的流程，比如发布Flink流式计算任务。现在，我们引入了可视化机制，每个步骤的执行状态都将直观展现在用户面前。如果遇到失败，用户可以立即通过界面了解原因，快速找到解决方案。

Bug Fix

  • 管道创建流程中更改端类型会出错#312

  • k8s application 模式下SQL模式执行flink Job 出错#308

  • 无法识别VARBINARY类型的字段列#296

  • 终止任务bug#294

  • [tis-flink-cdc-postgresql-plugin] java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant#293

  • 写入clickhosue时自动建表bug#292

  • FTP方式找不到对应匹配的文件#289

  • mysql->doris 增量执行streamload出错#285

  • 分库分表同步报找不到表#283

  • 整库同步时个别表有json类型字段下游create table ddl报错#280

  • plugin 进行校验过程中错误被遮蔽#277

  • MySQL CDC Source 异常恢复消费位点异常#274

  • flink rest api client 解析服务端返回的结果有类无法反序列化#268

New Feature

  • Flink K8S Cluster启动附加loadbalance service Flink JobMaster报WARN信息#310

  • TIS 整体部署容器化部署方案#309

  • 将flink-cdc的MySQL校验MySqlValidator.checkVersion前置#306

  • 添加flink连接同步timeout#298

  • 添加基于Flink-cdc 实现的 Postgresql source端实现#291

  • 实时同步无法使用“批量创建“#284

  • 为TIS 各种端提供图标显示支持#275

  • 建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步#255

  • [feature] 添加flink 实例一览页面#213

  • 升级flink相关组件到最新版本#168

  • 支持批量任务分布式执行#157

  • 支持TIS Flink 在K8S上运行#156

  • 离线T+1 怎么定时？#97

经典案例

  •  MySQL导入ElasticSearch
  •  MySQL导入Hive
  •  MySQL导入Clickhouse
  • MySQL全表入湖Hudi >>视频Demo
  • MySQL到StarRocks的同步实现 >>视频Demo
  • 多源同步Doris方案介绍 >>视频Demo

     

Installation

  • TIS Package 安装说明 (https://tis.pub/docs/install/tis/uber) 

  • TIS Flink Standalone Package 安装说明 (https://tis.pub/docs/install/flink-cluster/standalone) 

  • Flink On Kubernetes安装说明（ https://tis.pub/docs/install/flink-cluster/native）

  • 分布式批量数据同步组件PowerJob安装说明（  https://tis.pub/docs/install/powerjob/k8s）

  • TIS Zeppeline NoteBook Installation安装说明 (https://tis.pub/docs/install/zeppelin)

Related Projects

  • qlangtech/tis (https://github.com/qlangtech/tis/tree/master)

  • qlangtech/plugins (https://github.com/qlangtech/plugins/tree/master)

  • qlangtech/ng-tis (https://github.com/qlangtech/ng-tis/tree/master)

  • qlangtech/tis-archetype-plugin (https://github.com/qlangtech/tis-archetype-plugin/tree/master)

  • qlangtech/tis-ansible(https://github.com/qlangtech/tis-ansible/tree/master)

  • qlangtech/update-center2(https://github.com/qlangtech/update-center2/tree/master)

  • qlangtech/DataX (https://github.com/qlangtech/DataX/tree/master)

  • qlangtech/tis-git-manager(https://github.com/qlangtech/tis-git-manager/tree/master)

  • qlangtech/flink (https://github.com/qlangtech/flink/tree/tis-1.13.1)

  • qlangtech/chunjun (https://github.com/qlangtech/chunjun/tree/tis-v1.12.5)

  • qlangtech/tis-doc (https://github.com/qlangtech/tis-doc/tree/master)

  • qlangtech/hudi (https://github.com/qlangtech/hudi/tree/tis-release-0.10.1)

  • qlangtech/zeppelin (https://github.com/qlangtech/zeppelin/tree/tis-v0.10.1)

反馈

💻 项目地址：https://gitee.com/qlangtech/tis

🧐 提交问题和建议：https://gitee.com/qlangtech/tis/issues

🥁 贡献代码：https://gitee.com/qlangtech/tis/pulls

📧 订阅社区开发邮件列表：[email protected]

ZhouSa.com