我按照监控指南: http://spark.apache.org/docs/latest/monitoring.html 配置metricsservlet,但似乎这个文档没有说任何有用的东西......
metrics.properties中的公地说:
“5.默认情况下,MetricsServlet被添加为master,worker和client中的接收器 驱动程序,你可以发送http请求“/ metrics / json”来获取所有的快照 以json格式注册的指标。对于master,请求“/ metrics / master / json”和 可以单独发送“/ metrics / applications / json”以获取指标快照 实例主和应用程序。 MetricsServlet可能未由self配置。 “
但http请求网址的前缀是什么?我应该在哪里提交http请求?
http://driver-node:4040/metrics/json 不响应json,只是重定向到Web UI ...
感谢。
答案 0 :(得分:4)
如果你正在使用Spark 1.2.0,由于SparkContext(SPARK-4549中的初始化排序错误,已知指标servlet被破坏;这是少数已知的1.1.1之一 - &gt ; 1.2.0回归并记录在发行说明中)。有一个补丁可用于修复此问题(https://github.com/apache/spark/pull/3444),它将包含在Spark 1.2.1中。我们预计会在下周左右开始对1.2.1候选版本进行投票,因此您很快就会发现包含此修复程序的维护版本。在此期间,您可以自己从master
或branch-1.2
分支构建Spark,或者使用没有此问题的早期版本的Spark(例如Spark 1.1.1)。