我正在研究使用ELK / EFK堆栈监视hadoop集群的可能性。我已经搜索了公共领域,但是找不到任何相关的内容。
在这方面的任何帮助将不胜感激
答案 0 :(得分:0)
不清楚您要监视什么。
Hadoop中的所有内容大部分都是Java流程,因此添加一些Prometheus或Jolokia之类的JMX导出器将通过REST公开指标,从那里必须定期将其轮询到Elasticsearch中。
要启用JMX,您必须编辑YARN和HDFS的hadoop-env.sh
脚本,以控制任何JVM选项。 Hive,Spark,Hbase等都具有相似的脚本
Jolokia https://www.elastic.co/blog/monitoring-java-applications-with-metricbeat-and-jolokia上的一般示例
除此之外,Filebeat和Metricbeat的运行方式与任何其他系统相同
如果您使用Cloudera Manager或Ambari来控制集群,那么将通过这些工具为您提供监视