如何获取Hadoop群集中的主机数量,其IP和机架

时间:2018-08-01 08:43:33

标签: hadoop hdfs cluster-computing hosts sysadmin

我正在使用集群,但是我不知道集群确切有多少个主机,它们的IP和所属的机架。 我以前使用过通过Cloudera管理的集群,并从cloudera api(http://cloudera.github.io/cm_api/apidocs/v16/)获得了这些信息,特别是(http://cm_server_host:7180/api/v16/hosts)给了我所有我想要的信息。但是,如果集群不使用Cloudera,该怎么办?它也有火花,但是由于有Hadoop和HDFS,我认为在那里更可能找到该信息。

谢谢!

1 个答案:

答案 0 :(得分:0)

您可以通过http api找到这些信息,默认情况下,该信息应在此url下可用:

http://<namenodehost>:50070

并通过YARN http api,默认情况下该URL下应可用:

http://<resourcemanagerhost>:8088/cluster/nodes

您也可以使用ResourceManager REST API。

http://<resourcemanagerhost>:8088/ws/v1/cluster/nodes 

有关该主题的更多信息,例如:

https://www.datadoghq.com/blog/collecting-hadoop-metrics/