Question

我正在测试Apache Spark的框架。我需要监控有关我的集群的一些方面，如网络和资源。

Ganglia看起来是我需要的一个很好的选择。然后，我发现Spark支持Ganglia。

在Spark监控网页上有以下信息：＆＃34;要安装GangliaSink，您需要执行Spark的自定义构建。＆＃34;

我在Spark中找到了目录：＆＃34; / extras / spark-ganglia-lgpl＆＃34;。但我不知道如何安装它。

如何安装Ganglia以监控Spark群集？我如何做这个自定义构建？

谢谢！

Answer 1

Spark Ganglia支持是Spark项目的Maven配置文件之一，它是“spark-ganglia-lgpl”。为了激活配置文件，在构建项目时在mvn命令中添加“-Pspark-ganglia-lgpl”选项。例如，使用Ganglia构建Apache Hadoop 2.4.X是由

完成的

mvn -Pspark-ganglia-lgpl -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

有关构建Spark项目的信息，请参阅Building Spark with Maven

的文档

Answer 2

因此，如果您运行HDP堆栈，我建议您更新到最新版本。它包括火花作业跟踪器以及要部署在机器上的spark客户端库。它现在还将与ambari指标集成，以取代Ganglia和Nagios