Apache Linkis 1.5.0 版本已经发布,非常感谢社区各位成员对 1.5.0版本的贡献和付出。
本次版本是一个大版本,新增了多个社区期待已久的特性,如:注册中心支持切换Nacos、新增Hbase、Nabula、repl等多个引擎、新增SPARK引擎插件支持 on Yarn Cluster模式、SPARK和Flink引擎插件支持 on k8s提交Jar任务等功能特性,并修复了多个已知问题。
详情请查看 Apache Linkis 官方1.5.0的版本信息:
https://linkis.apache.org/zh-CN/download/release-notes-1.5.0
Apache Linkis 1.5.0 版本简介
● 注册中心支持将Eureka切换为Nacos
● 新增Hbase引擎插件,支持Hbase-shell全部语法并兼容多版本
● 新增Nebula引擎插件
● 新增Repl解释器引擎插件,支持运行Java和Scala代码片段
● 支持Spark EC on k8s 提交jar和Pyspark 任务
● 支持 Flink EC on k8s 提交jar任务
● Spark 引擎插件支持on yarn cluster运行模式
● Linkis JDBC driver支持多引擎多版本的选择
● 基础数据管理增加配置项管理,支持管理员管理各个引擎插件的配置项
● 管理台增加运维工具,并新加入了用户配置管理,支持管理员调整用户配置和模版管理
● 【实验性】Entrance支持任务接管,可以做到Entrance无状态
缩写:
● COMMON: Linkis Common
● ENTRANCE: Linkis Entrance
● EC: EngineConn
● ECM: EngineConnManager
● ECP: EngineConnPlugin
● DMS: Data Source Manager Service
● MDS: MetaData Manager Service
● LM: Linkis Manager
● PS: Linkis Public Service
● PE: Linkis Public Enhancement
● RPC: Linkis Common RPC
● CG: Linkis Computation Governance
● DEPLOY: Linkis Deployment
● WEB: Linkis Web
● GATEWAY: Linkis Gateway
● EP: Engine Plugin
新特性
● [EC]LINKIS-5008 注册中心支持Nacos
● [GATEWAY]LINKIS-4992 Gateway支持访问控制配置
● [EC-REPL]LINKIS-4937 新增Repl解释器引擎插件,支持执行scala和Java代码
● [EC-NEBULA]LINKIS-4903 新增nebula引擎插件
● [EC-HBASE]LINKIS-4891 新增Hbase引擎插件
● [EC-SPARK]LINKIS-4850 SPARK 引擎插件支持On Yarn Cluster运行
● [EC-SPARK]LINKIS-4867 SPARK 引擎插件支持提交Jar任务on k8s
● [EC-SPARK]LINKIS-4906 SPARK引擎插件支持提交pyspark job on k8s
● [JDBC-DRIVER]LINKIS-4930 JDBCDriver支持引擎多版本
● [EC-FLINK]LINKIS-4753 Flink引擎插件 升级为1.16.2并兼容多版本
● [ENTRANCE]LINKIS-4282 实验性:Entrance服务支持HA
● [MONITOR]LINKIS-4905 实验性:新增Linkis Monitor服务
● [WEB]LINKIS-4940 实验性:管理台前端新架构升级
功能增强
● [ECM]LINKIS-4990 支持管理台下载EC的日志文件
● [EC]LINKIS-4982 EC指标丰富增加锁空闲等时间指标
● [WEB]LINKIS-4954 管理台增加用户配置管理页面
● [EC-SPARK]LINKIS-4961 Pyspark 新增更多的默认class import
● [EC-PYTHON]LINKIS-4835 Python引擎插件优化打印,错误信息打印优化
● [EC-SPARK]LINKIS-4896 SPARK Once 任务支持EngineConnRuntimeMode标签配置
● [LM]LINKIS-4914 LM资源排序选择规则优化为从按大到小
● [WEB]LINKIS-4935 管理台支持配置spark.conf参数,支持配置多个SPARK的原生参数
● [EC]LINKIS-4714 EC 支持指定Debug端口范围
● [EC-FLINK]LINKIS-5023 Flink引擎插件支持读取用户自定义的log4j配置
● [PES]LINKIS-4838 文件读取和写入接口支持更多参数和操作
● [LM]LINKIS-4850 LM支持管理K8s资源
● [PE]LINKIS-4847 优化模块数合并公共数据源模块
● [PE]LINKIS-4853 优化模块数合并公共客户端模块为pes-client模块
● [PE]LINKIS-4854 优化模块数合并公共服务的多个模块
● [PE]LINKIS-4934 数据源服务支持合并和单独部署
● [EC-FLINK]LINKIS-5025 Flink 引擎插件支持加载默认配置
● [EC-JDBC]LINKIS-5007 JDBC引擎插件支持多任务间的任务串联
修复功能
● [EC-Flink]LINKIS-5041 修复交互式Flink SQL打印状态获取错误日志问题
● [MDS]LINKIS-4998 ES数据源兼容6.X和7.X
● [EC-SPARK]LINKIS-4996 SPARK引擎插件 Scala任务支持将错误信息打印到任务日志中
● [ENTRANCE]LINKIS-4967 修复SQL解析comment中带有分号导致的解析错误
● [EC]LINKIS-4920 修复结果集null返回为字符串NULL问题
● [CLI]LINKIS-4919 Client修复并发的NPE问题
● [CG]LINKIS-4915 修复LM的ECM选择逻辑存在错误选择负载高的问题
● [LM]LINKIS-4860 修复linkis-httpclient post接口中文乱码问题
● [LM]LINKIS-4771 Linkis-Cli once job提交应该为Once模式
● [LM]LINKIS-4731 Kill EC脚本应该去跳过ECM的进程
详细指引
● 本版本总览:https://linkis.apache.org/zh-CN/download/release-notes-1.5.0
● 详细安装部署见指引:https://linkis.apache.org/zh-CN/docs/latest/deployment/deploy-quick
● 官方下载链接:https://linkis.apache.org/zh-CN/download/main
社区贡献者
Apache Linkis 1.5.0 的发布离不开 Linkis 社区的贡献者,感谢所有的社区贡献者,包括但不仅限于以下 Contributors(排名不分先后):
还没有评论,来说两句吧...