标签: amazon-web-services apache-spark cluster-computing bigdata
是否有一个命令列出群集上运行的所有火花作业? 我是这项技术的新手,我们有多个用户在aws集群上运行spark-submit作业。有没有办法列出所有运行的火花作业? 谢谢!
答案 0 :(得分:0)
使用Spark REST API。它可以从活动的Spark Web UI或History Server调用。当然,正如cricket_007所说,你也可以在UI中列出作业。这些UI和REST服务在所有集群类型中运行