2023 大语言模型技术报告.pdf

数据采集 ETL & 流批一体化框架 bboss v7.1.5 发布 --- 高效、稳定、快速、安全

7.1.5版本亮点：扩展kafka输出插件，可以根据需求，在记录级别设置数据发送Kafka主题。

bboss 是一个基于开源协议 Apache License 发布的开源项目，由开源团队 bboss 运维，主要由以下三部分构成：

Elasticsearch Highlevel Java Restclient ，一个高性能高兼容性的 Elasticsearch/Opensearch java 客户端框架
数据采集同步 ETL ，一个基于 java 语言实现数据采集作业的强大 ETL 工具，提供丰富的输入插件和输出插件，可以基于插件规范轻松扩展新的输入插件和输出插件
流批一体化计算框架，提供灵活的数据指标统计计算流批一体化处理功能的简易框架，可以结合数据采集同步 ETL 工具，实现数据流处理和批处理计算，亦可以独立使用；计算结果可以保存到各种关系数据库、分布式数据仓库 Elasticsearch、Clickhouse 等，特别适用于数据体量和规模不大的企业级数据分析计算场景，具有成本低、见效快、易运维等特点，助力企业降本增效。

项目源码地址参考：源码下载和构建

快速上手：https://esdoc.bbossgroups.com/#/quickstart

v7.1.5 功能改进

数据处理作业改进：设置增量状态ID生成策略，在设置jobId的情况下起作用

 ImportIncreamentConfig.STATUSID_POLICY_JOBID 采用jobType+jobId作为增量状态id ImportIncreamentConfig.STATUSID_POLICY_JOBID_QUERYSTATEMENT 采用[jobType]+[jobId]+[作业查询语句/文件路径等信息的hashcode]，作为增量id作为增量状态id 默认值ImportIncreamentConfig.STATUSID_POLICY_JOBID_QUERYSTATEMENT

扩展kafka输出插件，可以根据需求，在记录级别设置数据发送Kafka主题，使用案例：
```
 //设置记录级别的kafka主题 context.setKafkaTopic("es2kafka1");
```
context接口增加一组工具方法，用户一次性将bean或者map中的数据添加到记录中

 /**      * 将对象中的所有字段和值作为字段添加到记录中，忽略空值字段      * @param bean      * @return      */     Context addFieldValues( Object bean);  /**      * 将对象中的所有字段和值作为字段添加到记录中      * 根据参数ignoreNullField控制是否忽略空值字段 true 忽略  false 不忽略      * @param bean      * @param ignoreNullField      * @return      */     Context addFieldValues(Object bean,boolean ignoreNullField);  /**      * 将map中的所有键值对作为字段添加到记录中，忽略空值字段      * @param values      * @return      */     Context addMapFieldValues( Map<String,Object> values);  /**      * 将map中的所有键值对作为字段添加到记录中      *  根据参数ignoreNullField控制是否忽略空值字段 true 忽略  false 不忽略      * @param values      * @param ignoreNullField      * @return      */     Context addMapFieldValues( Map<String,Object> values,boolean ignoreNullField);

导入和使用 bboss

bboss 版本最新版本号从以下文档章节【1.1 在工程中导入 bboss maven 坐标】获取:

https://esdoc.bbossgroups.com/#/db-es-tool

bboss ETL 插件使用指南

https://esdoc.bbossgroups.com/#/datatran-plugins

bboss 详细介绍文档

https://esdoc.bbossgroups.com/#/README

bboss 实战视频

Elasticsearch Bboss Stream ETL 介绍视频

实时采集 Mysql binlog 增删改数据视频教程

bboss 流批一体化计算入门教程

Elasticsearch 导出 Excel 文件，按记录数切割 Excel 文件，解决单个文件导出数量过大问题