主要特点
- 通过Rest API 提交spark 作业运行,支持sql,java/scala,python类型作业,解耦业务系统与spark 集群。
- Spark Job 运行资源相互隔离以及高可用性,每一个job 独立运行在一个Spark driver中。
- 预启动 Spark Driver,提高Job 启动速度,Driver 共享运行多个Job(同时只有一个job运行)
- 支持多Yarn集群部署,Client 提交Job 到指定集群运行。
- Driver 定制化,可以实现比较多能力,例如:表权限,碎片文件压缩,DQC等功能。
- 支持作业实例任务依赖(DAG),
- 支持kerberos 认证
https://github.com/melin/spark-jobserver
还没有评论,来说两句吧...