以RESTful方式在Amazon EMR上运行的Spark Job的状态

Question

我想通过以下方式对cli进行相同操作：

yarn application --status <app-id>

我想知道以RESTful方式在EMR群集中运行的Spark作业的状态。是否有任何实用程序或我该如何实现？

Answer 1

您可以查看纱线资源管理器ui或spark历史记录服务器。

Resource manager -> <master ip>:8088/cluster
Spark history server -> <master ip>:18080/history/application_1530774461344_0005/jobs/
Running spark application -> <master ip>:20888/proxy/application_1530774461344_0006/jobs

Answer 2

有：

• REST API 对于正在运行的Spark应用程序

• 或 metrics 可供收集和观察