Streamis 简介
GitHub:https://github.com/WeBankFinTech/Streamis
Streamis是一个基于开源社区联合共建的流式应用开发管理系统,初期版本由微众银行、天翼云、仙翁科技和萨摩耶云参与共建开发。
Streamis在框架层面直接接壤DataSphere Studio,同时底层引擎层面又直接对接了Linkis的Flink引擎,可以让用户低成本完成流式应用的开发、调试、发布和生产管理。同时随着Linkis和DataSphereStudio开源版本的发布迭代,对Streamis的功能特性也是持续地优化和增强。
Streamis 0.2.0版本发布,主要增加了对架构的优化和调整,并提供了一些重要功能特性,为后续版本迭代打下基础。
新增的核心功能特性主要包括:
- 流式任务状态(Checkpoint和Savepoint)管理,使得用户可以为Flink应用程序做快照处理并具备从快照中恢复的能力;
- 新的流式任务配置模块,支持弹性增删流式任务的配置定义项;
- Streamis AppConn, 数据层面打通和DataSphereStudio的同步;
- 流式作业批量管理(如批量启动和批量暂停),让用户可以对流式任务进行批操作,结合任务状态管理功能,从而做到任务异常自恢复;
缩写列表:
- SJL: Stream Job Launcher Module
- SJDA: Stream Job Deploy API Module
- SJHV: Stream Job History And Version Module
- SBO: Stream Bulk Operation Module
- SA: Stream AppConn Module
版本新特性
- SJL: 添加任务作业状态管理模块,并提供状态获取器JobStateFetcher来获取作业状态信息(包括checkpoint/savepoint).[Streamis-23]
- SJL: 能够自动重启失败的流式任务作业,并自动恢复其状态.[Streamis-22]
- SBO: 任务作业批量操作接口集合. [Streamis-19]
- SJDA: 能够获取任务作业对应的Yarn应用日志 (该特性依赖Linkis版本>=1.1.2). [Streamis-27]
- SA: Streamis AppConn 同步项目和权限信息(该特性依赖DSS版本>=1.1.0). [Streamis-24]
功能增强
- SJHV: 重构作业配置模块,提供新的作业配置获取和添加接口.[Streamis-21]
- SJDA: 增加两种停止作业的方式:“直接停止”和“快照并停止” [Streamis-20]
修复功能
- SJDA: 修复流式作业出现异常,但无法查看错误日志的问题 [Streamis-17]
云资源
- 前端编译包:
https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/streamis-0.2.0-dist.zip
- 后端编译包:
https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/wedatasphere-streamis-0.2.0-dist.tar.gz
- 项目部署安装手册:https://github.com/WeBankFinTech/Streamis/blob/main/docs/zh_CN/0.2.0/Streamis%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.m
— END —
如何成为社区贡献者
1 ► 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者
2 ►代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161
3 ►内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:
- 技术干货 | Linkis实践:新引擎实现流程解析
- 技术干货 | Prophecis保姆级部署教程
- 社区开发者专栏 | MariaCarrie:Linkis1.0.2安装及使用指南
4 ►社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;
5 ►其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;
还没有评论,来说两句吧...