安装神经节后,网页界面只显示有关磁盘的基本指标信息,如下所示:
但是在ganglia演示网站please see here中,它显示了许多关于磁盘iostat的指标,如下所示: 我的问题是:我应该如何配置神经网络以显示这些指标?
我知道github上有很多神经节模块,但我不知道如何使用它。我是神经节的新手,你能告诉我该怎么办?非常感谢你。
答案 0 :(得分:1)
在神经节中显示Spark指标的2个步骤:
重建带有神经节支持的火花
Spark pre-release并没有出现针对许可证问题的神经网络支持,Spark的Apache 2.0和ganglia的LGPL。
通常情况下,build/mvn -Pspark-ganglia-lgpl -Pother_profiles_to_enable -DskipTests clean package
可以自行重建一个,您可以找到有关自定义spark build here的更多信息
使用conf/metrics.properties
我建议先阅读Monitoring and Instrumentation和metrics configuration template。
指标系统分为实例,它们对应于内部组件。 可以将每个实例配置为将其指标报告给一个或多个接收器。 [instance]的可接受值是“master”,“worker”,“executor”,“driver”和“applications”。
“接收器”指定将指标传递到的位置。可以为每个实例分配一个或多个接收器。
ganglia是其中一个接收器,您可以按如下方式对其进行配置:
*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink
*.sink.ganglia.host=239.2.11.71
*.sink.ganglia.port=8636
*.sink.ganglia.period=10
*.sink.ganglia.unit=seconds
*.sink.ganglia.ttl=1
*.sink.ganglia.mode=multicast