如何检查火花流工作是否正在运行

Question

我正在通过YARN运行一个火花流式传输作业，并希望在作业终止时添加警报。

有没有办法在不使用pid的情况下检查作业是否正在运行（因为它会一直在改变）。我在作业运行时检查了netstat -ntlp的输出，在没有运行时检查了一次。但是输出没有差别。

Answer 1

使用纱线群集时，可以将“spark.yarn.submit.waitAppCompletion”选项设置为true并检查本地spark-submit进程。

spark.yarn.submit.waitAppCompletion true

  

在YARN群集模式下，控制客户端是否等待直到退出   应用程序完成。如果设置为true，则客户端进程将   活着报告申请的状态。否则，客户端   进程将在提交后退出。