如何获得json的火花驱动器指标?

时间:2015-01-22 07:47:59

标签: json driver apache-spark metrics

我按照监控指南: http://spark.apache.org/docs/latest/monitoring.html 配置metricsservlet,但似乎这个文档没有说任何有用的东西......

metrics.properties中的公地说:

“5.默认情况下,MetricsServlet被添加为master,worker和client中的接收器     驱动程序,你可以发送http请求“/ metrics / json”来获取所有的快照     以json格式注册的指标。对于master,请求“/ metrics / master / json”和     可以单独发送“/ metrics / applications / json”以获取指标快照     实例主和应用程序。 MetricsServlet可能未由self配置。 “

但http请求网址的前缀是什么?我应该在哪里提交http请求?

http://driver-node:4040/metrics/json 不响应json,只是重定向到Web UI ...

感谢。

1 个答案:

答案 0 :(得分:4)

如果你正在使用Spark 1.2.0,由于SparkContext(SPARK-4549中的初始化排序错误,已知指标servlet被破坏;这是少数已知的1.1.1之一 - &gt ; 1.2.0回归并记录在发行说明中)。有一个补丁可用于修复此问题(https://github.com/apache/spark/pull/3444),它将包含在Spark 1.2.1中。我们预计会在下周左右开始对1.2.1候选版本进行投票,因此您很快就会发现包含此修复程序的维护版本。在此期间,您可以自己从masterbranch-1.2分支构建Spark,或者使用没有此问题的早期版本的Spark(例如Spark 1.1.1)。