现在我有一个在amazon ec2上运行的工作,我使用putty连接ec2集群,但只知道putty的连接丢失了。我重新连接ec2集群后,我没有输出的工作,所以我不知道我的工作是否还在运行。谁知道如何查看Spark工作的状态?
感谢
答案 0 :(得分:1)
假设您在纱线群集上,您可以运行 纱线应用 - 清单 获取一个appliactions列表,然后运行 纱线应用-status applicationId 了解状态
答案 1 :(得分:0)
在远程计算机上工作时,最好使用GNU Screen
(或其他类似工具)使会话保持活动状态(但如果连接丢失,则会分离)。
可以从Spark UI(或Yarn UI)确定Spark应用程序的状态。
如果您正在寻找cli命令:
对于独立群集使用:
spark-submit --status <app-driver-id>
纱线:
yarn application --status <app-id>