如何在Apache Spark中启用ExecutorAllocationManagerSource指标？

Question

有关在Apache Spark中启用常规指标的文档很简单：

  

在实例中，“来源”指定一组特定的分组指标。有两种来源：

     

Spark内部源，如MasterSource，WorkerSource等，它将收集Spark组件的内部状态。每个实例都与自动添加的Spark源配对。

     

常见的来源，如JvmSource，将收集低级状态。这些可以通过配置选项添加，然后使用反射加载。

所有示例均采用以下形式：

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource

但是，没有任何看似合理的变体允许我发布ExecutorAllocationManagerSource

中生成的指标

该课程未经过单元测试，我找不到任何其他文档或示例。

Answer 1

事实上，这些指标在ExecutorAllocationManagerSource没有任何特殊配置的情况下发布。但是，它们仅在相关代码路径处于活动状态时才会显示。在这种情况下，这意味着启用动态执行程序分配。

我的群集在没有动态执行程序分配的情况下被错误配置。启用此功能后，这些指标将在驱动程序指标下发布，无需任何特殊配置。