用石墨监测Spark 2.X.

时间:2016-10-05 13:26:19

标签: hadoop apache-spark monitoring graphite

我想用石墨监视我的Jobs的执行情况。我想这样做是为了获得HDFS I / O速率和exectution中的任务数量。我遵循了本教程:http://www.hammerlab.org/2015/02/27/monitoring-spark-with-graphite-and-grafana/但如果我使用他们的选项提交作业:

--files=/path/to/metrics.properties \
--conf spark.metrics.conf=metrics.properties

我收到错误,无法找到该文件:

16/10/05 13:21:22 ERROR metrics.MetricsConfig: Error loading configuration file metrics.properties
java.io.FileNotFoundException: metrics.properties (No such file or directory)

此外,我尝试输入所有节点都可访问的绝对路径(在已安装的目录中),这会删​​除错误,但它们缺少石墨中的信息(如executor.threadpool)

有没有人使用Spark with Graphite并且可以帮助我?或者也许有比Graphite更好的工具?

0 个答案:

没有答案