​数据采集 ETL & 流批一体化框架 bboss v6.8.9 发布

​数据采集ETL&流批一体化框架bboss v6.8.9 发布---高效、稳定、快速、安全

快速导入bboss

一般项目导入下面的maven坐标即可：

         <dependency>             <groupId>com.bbossgroups.plugins</groupId>             <artifactId>bboss-elasticsearch-rest-jdbc</artifactId>             <version>6.8.9</version>         </dependency>

如果是spring boot项目还需要导入下面的maven坐标：

         <dependency>             <groupId>com.bbossgroups.plugins</groupId>             <artifactId>bboss-elasticsearch-spring-boot-starter</artifactId>             <version>6.8.9</version>         </dependency>

v6.8.9 功能改进

1. 文件采集插件改进：大量文件采集场景下的流控处理机制，通过设置同时并行采集最大文件数量，控制并行采集文件数量，避免资源过渡消耗，保证数据的平稳采集。当并行文件采集数量达到阈值时，启用流控机制，当并行采集文件数量低于最大并行采集文件数量时，即可继续采集后续文件
2. 改进ftp/sftp文件下载采集机制：采集/定时调度采集sftp/ftp文件时，等待所有的文件采集都加入采集通道后再返回，继续下一次调度采集（定时调度）/或者再继续后续的处理（一次性采集）
3. 改进通用bulk批处理器和Elasticsearch bulk批处理器：优化flush线程及锁管理和shutdown机制,更加优雅关闭bulk批处理器。
4. 改进kafka消费组件：将工作线程改为daemon=false

详细变更，请浏览：

https://esdoc.bbossgroups.com/#/changelog

数据采集&流批一体化计算案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo
欢迎大家支持和star bboss

https://esdoc.bbossgroups.com/#/supportus