如何以编程方式获取SparkUI信息

Question

如何以编程方式获取SparkUI信息以进行火花工作？ 我正在尝试从SparkUI获取所有信息，并在作业运行时在控制台中打印。但我没有办法找到任何办法。

有没有类似于Spark-listener的方法来获取所有信息。

Answer 1

这对我有用 - https://spark.apache.org/docs/latest/monitoring.html#rest-api？您应该能够从app-id获得sc.applicationId。