数据采集 ETL 工具 bboss-datatran v6.7.2 发布，bboss-datatran 是一款基于 java 语言开发的数据采集同步工具，提供数据采集、数据清洗转换处理和数据入库功能，支持在 Elasticsearch、关系数据库 (mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件 / 日志文件、excel 文件、csv 文件、SFTP/FTP、http/https 等多种数据源之间进行海量数据采集同步；支持数据实时增量和全量数据采集；提供了作业任务控制 API、作业监控 api，支持作业启动、暂停 (pause)、继续（resume）、停止控制机制；支持http jwt服务认证和数据签名。基于 bboss 可轻松定制一款属于自己的 ETL 管理工具。

v6.7.2 功能改进

数据同步bug修复：执行destroy方法销毁作业时空指针异常问题修复
数据同步改进：优化作业销毁机制
数据同步改进：优化filelog插件日志采集多行识别处理增量采集机制和未结束多行记录回滚机制
数据同步改进：优化kafka输入插件并行消息处理机制

数据同步作业开发视频教程：

https://www.bilibili.com/video/BV1xf4y1Z7xu

bboss 案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

Quick Start

https://esdoc.bbossgroups.com/#/quickstart

开发交流

https://www.bbossgroups.com/forum.html

bboss插件清单

输入插件

插件	插码名称	说明
DBInputConfig	DB数据库输入插件	配置DB数据源、查询sql、查询sql文件路径及文件名称,支持各种关系数据库，hive
ElasticsearchInputConfig	elasticsearch输出插件	配置elasticsearch数据源、queryDsl、queryDsl配置文件路径等
HttpInputConfig	Http输入插件	配置http服务参数、服务地址、服务查询参数、ssl证书等
FileInputConfig	文件输入插件	对应文本类数据文件数据采集配置，源文件目录、Ftp/sftp配置
ExcelFileInputConfig	excel文件输入插件	excel文件采集映射配置（忽略行数、excel列号与目标字段名称映射、列默认值配置），包括excel源文件目录、Ftp/sftp配置
HBaseInputConfig	hbase输入插件	hbase连接配置、查询表配置、查询条件配置
MongoDBInputConfig	mongodb输入插件	mongodb连接配置、查询表配置、查询条件配置
Kafka2InputConfig	kafka输入插件	kafka消费端参数配置、主题配置、客户端消费组配置等
Kafka1InputConfig	低版本kafka输入插件	低版本kafka消费端参数配置、主题配置、客户端消费组配置等

输出插件

插件	插码名称	说明
DBOutputConfig	数据库输出插件	数据库地址配置、连接池配置、输出sql、更新sql、deletesql配置、sql文件路径配置
ElasticsearchOutputConfig	Elasticsearch输出插件	elasticsearch地址配置、http连接池配置、账号口令配置、elasticsearch连接参数配置、Elasticsearch输出表配置
HttpOutputConfig	http/https输出插件	http输出服务参数配置、连接参数配置、监控检查机制配置、ssl证书配置、输出服务地址配置
FileOutputConfig	文本文件输出插件	文本文件输出配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置、记录标题行配置
ExcelFileOutputConfig	excel文件输出插件	Excel文件输出配置、列号与字段映射配置、标题配置、sheet配置、列标题配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置
Kafka2OutputConfig	kafka输出插件	kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置
Kafka1OutputConfig	低版本kafka输出插件	低版本kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置
CustomOupputConfig	自定义输出插件	提供自定义处理采集数据功能，可以按照自己的要求将采集的数据处理到目的地，如需定制化将数据保存到特定的地方，可自行实现CustomOutPut接口处理即可
DummyOutputConfig	dummy插件	调试作业使用，将采集的数据直接输出到控制台