数据采集 ETL & 流批一体化框架 bboss v7.0.5 发布 --- 高效、稳定、快速、安全
bboss是一个基于开源协议Apache License发布的开源项目,由开源团队bboss运维,主要由以下三部分构成:
- Elasticsearch Highlevel Java Restclient , 一个高性能高兼容性的Elasticsearch/Opensearch java客户端框架
- 数据采集同步ETL ,一个基于java语言实现数据采集作业的强大ETL工具,提供丰富的输入插件和输出插件,可以基于插件规范轻松扩展新的输入插件和输出插件
- 流批一体化计算框架,提供灵活的数据指标统计计算流批一体化处理功能的简易框架,可以结合数据采集同步ETL工具,实现数据流处理和批处理计算,亦可以独立使用;计算结果可以保存到各种关系数据库、分布式数据仓库Elasticsearch、Clickhouse等,特别适用于数据体量和规模不大的企业级数据分析计算场景,具有成本低、见效快、易运维等特点,助力企业降本增效。
项目源码地址参考:源码下载和构建
v7.0.5 功能改进
-
Elasticsearch客户端改进:将原来默认加载conf/elasticsearch.properties,application.properties,config/application.properties三个配置文件,调整为只默认加载application.properties文件。如需加载其他文件,可以参考文档:
https://esdoc.bbossgroups.com/#/Elasticsearch-bboss-custom-init
-
Ioc容器改进:全部走PropertiesUtil加载config配置文件,统一加载模式,避免重复加载属性文件
-
Metrics指标计算改进:日期维度字段类型为LocalDate或者Localdatetime时,自动转换为Date类型
-
数据转换改进:优化数据转换处理异常处理
-
文件输出插件问题修复:修复增量状态管理不一致问题,文件名不规范时,创建文件失败,无法写入数据,但是增量状态已经flush,导致增量状态管理不正确
-
文件输出插件改进:处理因初始化文件失败导致写入数据空指针问题
-
处理异步传输通道改进:由于异常退出作业任务时,未清理队列中的脏数据,导致输入插件推送数据到异步通道队列阻塞问题,在退出任务时,增加清理队列脏数据功能,解决异常退出阻塞问题
-
Elasticsearch客户端改进:优化scroll和slice scroll并行查询异常处理机制
-
http proxy模块扩展:post/get/put等方法支持po对象传递请求参数,从而支持map和po两种方式传递服务参数
-
bboss基础框架改进:父配置文件中存在的配置不会被引用配置文件中的配置参数覆盖,支持应用参数个性化配置
-
bboss基础框架改进:增加日期格式化和解析工具方法
bboss 版本最新版本号从以下文档章节【1.1 在工程中导入 bboss maven 坐标】获取:
https://esdoc.bbossgroups.com/#/db-es-tool
bboss ETL插件使用指南
https://esdoc.bbossgroups.com/#/datatran-plugins
ETL实战视频:Elasticsearch导出Excel文件,按记录数切割Excel文件,解决单个文件导出数量过大问题
bboss 详细介绍文档
https://esdoc.bbossgroups.com/#/README
bboss 介绍视频
Elasticsearch Bboss Stream ETL 介绍视频
实时采集 Mysql binlog 增删改数据视频教程
还没有评论,来说两句吧...