从哪里可以看到服务器中运行了多少火花作业?

时间:2017-01-03 19:15:04

标签: apache-spark pyspark spark-streaming distributed-computing

我在linux服务器上提交了spark job,可以在控制台中查看并确定它是否正在运行。

但是如果生产多个火花作业在服务器上提交和运行,

那时我从哪里可以看到有多少火花作业在运行?

2 个答案:

答案 0 :(得分:0)

默认情况下,每个SparkContext都会在您提交应用程序的主机上的端口4040上启动Web UI。有关更多应用程序监控的详细信息,请查看此link

答案 1 :(得分:0)

您可以从命令行获取正在运行的应用程序列表(假设您正在使用纱线)

yarn application --list
关于纱线命令行操作的

more