如何知道Spark工作的状态

时间:2015-04-21 13:36:54

标签: apache-spark aws-ec2

现在我有一个在amazon ec2上运行的工作,我使用putty连接ec2集群,但只知道putty的连接丢失了。我重新连接ec2集群后,我没有输出的工作,所以我不知道我的工作是否还在运行。谁知道如何查看Spark工作的状态?

感谢

2 个答案:

答案 0 :(得分:1)

假设您在纱线群集上,您可以运行     纱线应用 - 清单  获取一个appliactions列表,然后运行     纱线应用-status applicationId  了解状态

答案 1 :(得分:0)

在远程计算机上工作时,最好使用GNU Screen(或其他类似工具)使会话保持活动状态(但如果连接丢失,则会分离)。

可以从Spark UI(或Yarn UI)确定Spark应用程序的状态。

如果您正在寻找cli命令:

对于独立群集使用:

spark-submit --status <app-driver-id>

纱线:

yarn application --status <app-id>