Apache Spark:列出在群集上运行的所有Sparks作业

时间:2016-08-26 15:40:01

标签: amazon-web-services apache-spark cluster-computing bigdata

是否有一个命令列出群集上运行的所有火花作业? 我是这项技术的新手,我们有多个用户在aws集群上运行spark-submit作业。有没有办法列出所有运行的火花作业? 谢谢!

1 个答案:

答案 0 :(得分:0)

使用Spark REST API。它可以从活动的Spark Web UI或History Server调用。当然,正如cricket_007所说,你也可以在UI中列出作业。这些UI和REST服务在所有集群类型中运行