如何延长神经节?

时间:2015-07-01 03:20:56

标签: hadoop cluster-computing bigdata ganglia

安装神经节后,网页界面只显示有关磁盘的基本指标信息,如下所示:

enter image description here

但是在ganglia演示网站please see here中,它显示了许多关于磁盘iostat的指标,如下所示: enter image description here 我的问题是:我应该如何配置神经网络以显示这些指标?

我知道github上有很多神经节模块,但我不知道如何使用它。我是神经节的新手,你能告诉我该怎么办?非常感谢你。

1 个答案:

答案 0 :(得分:1)

在神经节中显示Spark指标的2个步骤:

  1. 重建带有神经节支持的火花

    Spark pre-release并没有出现针对许可证问题的神经网络支持,Spark的Apache 2.0和ganglia的LGPL。

    通常情况下,build/mvn -Pspark-ganglia-lgpl -Pother_profiles_to_enable -DskipTests clean package可以自行重建一个,您可以找到有关自定义spark build here的更多信息

  2. 使用conf/metrics.properties

    设置指标

    我建议先阅读Monitoring and Instrumentationmetrics configuration template

      

    指标系统分为实例,它们对应于内部组件。 可以将每个实例配置为将其指标报告给一个或多个接收器。 [instance]的可接受值是“master”,“worker”,“executor”,“driver”和“applications”。

         

    “接收器”指定将指标传递到的位置。可以为每个实例分配一个或多个接收器。

  3. ganglia是其中一个接收器,您可以按如下方式对其进行配置:

    *.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink
    *.sink.ganglia.host=239.2.11.71
    *.sink.ganglia.port=8636
    *.sink.ganglia.period=10
    *.sink.ganglia.unit=seconds
    *.sink.ganglia.ttl=1
    *.sink.ganglia.mode=multicast