如何通过Spark Hidden Rest API获取所有工作状态

Question

我正在使用spark 1.6.2，我正在使用隐藏的REST API（http://arturmkrtchyan.com/apache-spark-hidden-rest-api）。

如何在一次休息通话中获取所有工作状态，而不是每次都使用它？http://spark-cluster-ip:6066/v1/submissions/status/driver-20151008145126-0000？

Answer 1

根据您的需要，您可以使用：8080 / json来获取代表所有应用程序的json。您应该看到一个activeapps数组，其中包含每个应用程序的简短信息（包括其状态，例如Running）：

例如，如果我打开spark-shell，我会在json中获得以下字段：

"memoryused" : 82944,
  "activeapps" : [ {
    "starttime" : 1484638046648,
    "id" : "app-20170117022726-0113",
    "name" : "Spark shell",
    "cores" : 60,
    "user" : "assaf",
    "memoryperslave" : 27648,
    "submitdate" : "Tue Jan 17 02:27:26 EST 2017",
    "state" : "RUNNING",
    "duration" : 26954
  } ],

请注意，这基本上是将/ json添加到UI端口而不是转到提交端口。