关于Hadoop集群的Namenode和Jobtracker信息

Question

如何在Hadoop群集上获取以下信息？ 1. namenode和jobtracker名称 2.在集群中具有角色的所有节点的列表

Answer 1

获取namenode信息：

    hdfs getconf -confKey fs.defaultFS  

for jobtracker

    hdfs getconf -confKey yarn.resourcemanager.address.rm2

Answer 2

除了获取信息的命令行方式外，您还可以在浏览器中获取类似信息：

switch(mMyEnum){
case Item1:
break;
case Item2:
break;
case Item3:
break;
case Item4:
break;
}

这些是默认端口。您可以查看here以获取更多信息。

Answer 3

使用正确的授权（例如sudo -u hdfs），您可以尝试：

hdfs dfsadmin -report

Answer 4

我正在使用基于cloudera的群集并且还在使用EMR。 在两个集群中，我都可以从配置目录中找到信息。 要获取namenode信息，请转到core-site.xml文件并查找fs.defaultFS as @ daemon12说

这是获得它的直接方法。 对于namenode信息，请使用以下命令 cat /etc/hadoop/conf/core-site.xml | grep '8020'

结果如下

<value>hdfs://10.872.22.1:8020</value> 值标记内的值是名称节点信息。

与获取jobtracker信息类似，执行以下操作

cat /etc/hadoop/conf/yarn-site.xml | grep '8032'

结果如下

<value>10.872.12.32:8032</value>

jobtracker值再次位于值标记内。

通常，NN和JT信息用于运行Oozie作业，此方法将帮助您实现此目的。

免责声明：我正在根据namenode和jobtracker端口号（分别为8020和8032）来查看cat的结果。这是众所周知的Hadoop中NN和JT的端口。如果您的组织使用不同的组织，请使用它来获得更合适的结果。