监控带神经节的火花群独立模式

时间:2017-10-02 08:39:43

标签: performance apache-spark hdfs monitoring ganglia

我已经为hadoop 2.4及更高版本安装了spark 2.0.2 prebuitl:https://spark.apache.org/downloads.html。而且,我已经创建了我的集群,由1名主人和2名工人组成,我也在3台机器上安装了Ganglia(gmetad,gmond on master和gmond仅限于工人)。我需要在运行spark应用程序时监视CPU,内存和磁盘的spark集群使用情况,以获得集群的性能。 我的问题是如何将Ganglia与spark集成,如何在ganglia web UI中查看spark指标?我知道我们必须在$ SPARK_HOME / conf中配置metric.properties文件来设置ganglia sinks ..我这样做但我在这里学到了我们必须有LGPL包,默认情况下不包含这个包。如何在我预制火花的同时安装它。我应该重建火花吗?怎么样? 我在下面的两个链接中发现使用的火花是由mvn或sbt构建的,但与我使用的火花不同(Spark预制)

Spark Monitoring with GangliaHow to integrate Ganglia for Spark 2.1 Job metrics, Spark ignoring Ganglia metrics

谢谢

0 个答案:

没有答案