如何使用REST API获取YARN上的Spark作业的状态？

Question

spark应用程序可以运行许多作业。我的火花在纱线上运行。版本2.2.0。

如何使用REST API获取给定应用程序ID的作业运行状态和其他信息？

工作如下：
enter image description here

Answer 1

YARN有Cluster Applications API。这显示了状态以及其他信息。使用它：

$ curl 'RMURL/ws/v1/cluster/apps/APP_ID'

将您的应用ID设为APP_ID。

它提供：

Answer 2

这可能要晚了，但是为了方便起见。希望能帮助到你。您可以使用以下Rest API命令获取YARN上运行的所有作业的状态。

curl --negotiate -s -u：-X GET'http://resourcemanagerhost:8088/ws/v1/cluster/apps/application_121766109986_12343/state'

O / P-{“状态”：“正在运行”}

在整个工作周期中，状态将从新，新_保存，已提交，已接受，正在运行，已完成，失败，已杀死

您可以将jq用于格式化输出。

curl --negotiate -s -u：-X GET'http://resourcemanagerhost:8088/ws/v1/cluster/apps/application_121766109986_12343'|| jq .app.state

O / P-“正在运行”