标签: apache-spark pyspark spark-streaming distributed-computing
我在linux服务器上提交了spark job,可以在控制台中查看并确定它是否正在运行。
但是如果生产多个火花作业在服务器上提交和运行,
那时我从哪里可以看到有多少火花作业在运行?
答案 0 :(得分:0)
默认情况下,每个SparkContext都会在您提交应用程序的主机上的端口4040上启动Web UI。有关更多应用程序监控的详细信息,请查看此link
答案 1 :(得分:0)
您可以从命令行获取正在运行的应用程序列表(假设您正在使用纱线)
yarn application --list
more