阅读《2024 中国开源开发者报告》赢大奖,扫码申请享特权
ETL&流批一体化框架 bboss v7.3.2 发布,新增多输出源插件,支持将数据同时同步到多个数据源;最新版本还做了诸多性能优化改造,带来更加极速的数据采集同步以及流计算性能体验。
v7.3.2 功能改进
- 数据采集功能扩展:增加多输出插件,支持将采集的数据同时同步到多个数据源
- 数据采集功能改进:优化文件输出插件文件切割机制,优化输出记录数据buffer机制,提升数据文件生成性能
- 数据采集功能改进:作业任务完成回调处理配置管理优化
- 数据采集功能改进:优化作业停止逻辑
- Kafka客户端组件改进:优化消费组件事务管理机制
- Json组件改进:增加不关闭writer的json序列化方法,提供更加优雅的数据序列化功能,并提升序列化性能
- 升级Velocity模版引擎版本1.7到2.5,提升模版解析处理性能,重点关注版本升级注意事项
- 升级jackson版本到2.18.2
- Milvus输入插件改进:新增通过向量search检索条件采集Milvus向量数据功能,并添加相关案例
- 问题修复:修复引用外部Milvus数据源异常问题
- 问题修复:修复Milvus输入插件没有配置expr的情况下增量查询报错的问题
- 增加Milvus到Milvus同步案例
- 升级Milvus客户端驱动版本为2.5.2
- 去除框架中对log4j的依赖,调整为log4j2
参考资料
bboss ETL 工具使用集成指南
https://esdoc.bbossgroups.com/#/db-es-tool
bboss 数据采集 & 流批一体化处理使用指南
https://esdoc.bbossgroups.com/#/etl-metrics
bboss 插件清单 -- 输入和输出插件使用介绍
https://esdoc.bbossgroups.com/#/datatran-plugins
bboss 案例大全
https://esdoc.bbossgroups.com/#/bboss-datasyn-demo
基于源码构建 bboss
https://esdoc.bbossgroups.com/#/bboss-build
还没有评论,来说两句吧...