我想用石墨监视我的Jobs的执行情况。我想这样做是为了获得HDFS I / O速率和exectution中的任务数量。我遵循了本教程:http://www.hammerlab.org/2015/02/27/monitoring-spark-with-graphite-and-grafana/但如果我使用他们的选项提交作业:
--files=/path/to/metrics.properties \
--conf spark.metrics.conf=metrics.properties
我收到错误,无法找到该文件:
16/10/05 13:21:22 ERROR metrics.MetricsConfig: Error loading configuration file metrics.properties
java.io.FileNotFoundException: metrics.properties (No such file or directory)
此外,我尝试输入所有节点都可访问的绝对路径(在已安装的目录中),这会删除错误,但它们缺少石墨中的信息(如executor.threadpool)
有没有人使用Spark with Graphite并且可以帮助我?或者也许有比Graphite更好的工具?