如何以编程方式在“阶段”选项卡中获取“已完成任务的摘要度量标准”等Web UI信息？

Question

我希望在我的scala代码中获得“已完成任务的摘要度量标准”。此信息可在Spark webUI中找到：

Answer 1

Web UI只是一堆SparkListeners，它保存状态并提供有关Spark应用程序状态的许多有用统计信息。

这就是为什么驱动程序通常需要比预期更多的内存 - 对于Web UI的内部状态。

SparkListener

  

我想获得＆＃34;完成任务的摘要指标＆＃34;在我的Scala代码中。

编写您自己的SparkListeners并截取您喜欢的事件。

对于＆＃34;已完成任务的摘要度量标准＆＃34;类似的统计信息，您必须查看source code of Spark并返回以查看构建摘要度量标准内部状态的内容和方式。< / p>

REST API

您还可以访问＆＃34;完成任务的摘要指标＆＃34;数据以编程方式使用在http://localhost:4040/api/v1/applications/[appId]/stages公开的REST API。

您想要的数据是＆＃34;舞台数据＆＃34;并且每个阶段都可以使用stageId路径参数和details查询参数，即

http://localhost:4040/api/v1/applications/[appId]/stages/[stageId]?details

或

http://localhost:4040/api/v1/applications/[appId]/stages/[stageId]?details=true