Hadoop UI仅显示一个Datanode

Question

我已经启动了由主节点和4个从节点组成的hadoop集群。

配置似乎没问题：

hduser@ubuntu-amd64:/usr/local/hadoop$ ./bin/hdfs dfsadmin -report

当我输入NameNode UI（http://10.20.0.140:50070/）Overview卡似乎没问题时 - 例如，所有节点的总容量都会消耗殆尽。

问题在于卡Datanodes中我只看到一个数据节点。

Answer 1

我遇到了同样的问题，幸运的是我解决了它。我想这是由'loaclhost'引起的。

1. 在/ etc / host
中为这些IP配置不同的名称
2. 记得重新启动所有机器，事情会顺利进行。

Answer 2

以下提示可能对您有所帮助

1. 检查core-site.xml并确保namenode主机名正确
2. 检查名称节点和数据节点中的防火墙规则，并确保所需端口已打开
3. 检查datanodes的日志
4. 确保所有数据节点已启动并正在运行

Answer 3

这是因为两个数据节点中的主机名相同。 在你的情况下，两个datanode都注册到namenode与相同的主机名，即'localhost'尝试使用不同的主机名，它将解决你的问题。

在 UI 中，它只会显示一个主机名条目。

在“hdfs dfsadmin -report”输出中，您可以看到两者。

Answer 4

正如@Rahul所说，问题是因为主机名相同

更改 / etc / hostname 文件中的主机名，并为每个主机指定不同的主机名 并使用IP地址 / etc / hosts 文件

解析主机名

然后重新启动群集，您将在浏览器的Datanode信息选项卡中看到所有数据节点

Answer 5

我遇到了同样的麻烦，因为我使用ip而不是hostname，尽管[hdfs dfsadmin -report]是正确的，尽管在UI中它只是一个[localhost]。最后，我这样解决了它：

<property>
       <name>dfs.datanode.hostname</name>                   
       <value>the name you want to show</value>
</property>

几乎找不到任何东西...

Answer 6

您的管理报告看起来非常好。请运行以下内容以检查HDFS磁盘空间详细信息。

“hdfs dfs -df /”

如果您仍然看到尺寸良好，那只是一个UI故障。

Answer 7

对不起，感觉已经过去了。但我仍然想分享我的答案： 根本原因来自hadoop / etc / hadoop / hdfs-site.xml： xml文件具有一个名为dfs.datanode.data.dir的属性。如果将所有数据节点都设置为相同的名称，则hadoop假设集群只有一个数据节点。因此，正确的做法是为每个数据节点命名一个唯一的名称：

关于， 云韩轩