如何以编程方式获取运行驱动程序的状态？

Question

我现在能获得的唯一方法是查看spark master UI。我想以编程方式获取正在运行的驱动程序。有办法吗？

Answer 1

请参见https://spark.apache.org/docs/latest/monitoring.html

有选择地引述以下内容：

  

指标 Spark具有基于Dropwizard指标库的可配置指标系统。这使用户可以报告Spark指标   到各种接收器，包括HTTP，JMX和CSV文件。指标   系统通过Spark预期为的配置文件进行配置   存在于$ SPARK_HOME / conf / metrics.properties。自定义文件位置   可以通过spark.metrics.conf配置属性指定。通过   默认情况下，用于驱动程序或执行程序指标的根名称空间是   spark.app.id的值。

     

...

     

  
• driver：Spark驱动程序进程（在其中创建SparkContext的进程）。
  

     

...

您可以阅读这些文件。下沉，不是编程上的。