火花指标gmond / ganglia

Question

OS：Cent OS 6.4

ISSUE： 在服务器上安装gmond，gmetad和gweb。在同一台服务器上安装了spark worker。 在 $ SPARK_HOME / conf / metrics.properties 中配置了metrics.properties，如下所示......

CONFIGURATION (metrics.properties in spark): 

org.apache.spark.metrics.sink.GangliaSink

host      localhost

port      8649

period    10

unit      seconds

ttl       1

mode      multicast

我们无法在神经网络中看到任何指标。 请只做那些需要的。

-pradeep samudrala

Answer 1

首先，这些只是Ganglia默认设置的指示。你不应该取消注释。摘自 Spark 网页（spark page）的指标部分：

  

要安装GangliaSink，您需要执行Spark的自定义构建。请注意，通过嵌入此库，您将在Spark包中包含LGPL许可的代码。对于sbt用户，请在构建之前设置SPARK_GANGLIA_LGPL环境变量。对于Maven用户，请启用-Pspark-ganglia-lgpl配置文件。除了修改集群的Spark构建之外，用户应用程序还需要链接到spark-ganglia-lgpl工件。