如何使用ELK监视Hadoop集群

时间:2019-05-10 08:32:47

标签: hadoop elastic-stack

我正在研究使用ELK / EFK堆栈监视hadoop集群的可能性。我已经搜索了公共领域,但是找不到任何相关的内容。

在这方面的任何帮助将不胜感激

1 个答案:

答案 0 :(得分:0)

不清楚您要监视什么。

Hadoop中的所有内容大部分都是Java流程,因此添加一些Prometheus或Jolokia之类的JMX导出器将通过REST公开指标,从那里必须定期将其轮询到Elasticsearch中。

要启用JMX,您必须编辑YARN和HDFS的hadoop-env.sh脚本,以控制任何JVM选项。 Hive,Spark,Hbase等都具有相似的脚本

Jolokia https://www.elastic.co/blog/monitoring-java-applications-with-metricbeat-and-jolokia上的一般示例

除此之外,Filebeat和Metricbeat的运行方式与任何其他系统相同

如果您使用Cloudera Manager或Ambari来控制集群,那么将通过这些工具为您提供监视