Question

apache Spark Web UI提供了大量有关工作人员，驱动程序，存储等的有用信息。但Metrics Servlet只提供了一些信息。例如，我从/ metrics / json获得以下内容：

{
  "version":"3.0.0",
  "gauges":{
    "local-1431683138663.<driver>.BlockManager.disk.diskSpaceUsed_MB":{
      "value":0
    },
    "local-1431683138663.<driver>.BlockManager.memory.maxMem_MB":{
      "value":3179
    },
    "local-1431683138663.<driver>.BlockManager.memory.memUsed_MB":{
      "value":169
    },
    "local-1431683138663.<driver>.BlockManager.memory.remainingMem_MB":{
      "value":3009
    },
    "local-1431683138663.<driver>.DAGScheduler.job.activeJobs":{
      "value":1
    },
    "local-1431683138663.<driver>.DAGScheduler.job.allJobs":{
      "value":1
    },
    "local-1431683138663.<driver>.DAGScheduler.stage.failedStages":{
      "value":0
    },
    "local-1431683138663.<driver>.DAGScheduler.stage.runningStages":{
      "value":1
    },
    "local-1431683138663.<driver>.DAGScheduler.stage.waitingStages":{
      "value":0
    }
  },
  "counters":{
  },
  "histograms":{
  },
  "meters":{
  },
  "timers":{
  }
}

如何获取存储等其他指标？

Answer 1

从版本1.4开始，所有数据现在都可以在Spark Monitoring REST API中使用。谢谢Apache Spark！

链接：http://spark.apache.org/docs/latest/monitoring.html#rest-api

如何通过Apache Spark中的JSON格式（如在Web UI中）通过Metrics Servlet获取所有指标

1 个答案: