Datanode已启动,但未显示在dfsadmin -report

时间:2018-07-21 09:55:19

标签: hadoop hdfs ubuntu-16.04 hadoop3

我正在尝试将Hadoop 3.1.0安装到两个虚拟机中:

第一台计算机包含一个名称节点和一个数据节点,第二台计算机包含一个数据节点。

我关注了这篇文章Install Hadoop 3.0.0 multi-node cluster on Ubuntu。一切顺利,直到我执行了start-dfs.sh和start-yarn.sh命令。

当我在“名称”节点上运行Jps命令时,它将显示以下结果:

16488 NameNode  
16622 DataNode  
17215 NodeManager  
17087 ResourceManager  
17530 Jps  
16829 SecondaryNameNode

当我在“数据”节点上运行它时,它会显示:

2306 DataNode
2479 NodeManager
2581 Jps

但是奇怪的是,在执行hdfs dfsadmin -report命令时,它仅显示Live datanodes (1),这是本地数据节点。

我进行了很多搜索;我没有发现任何有用的信息。

我试图:

  1. 执行stop-all.sh
  2. 删除Namenode和datanode目录中的所有文件
  3. 删除临时目录中所有与hadoop相关的文件
  4. 执行了hdfs namenode -format命令

这里有一个类似的问题:Hadoop UI shows only one Datanode,他们建议在其中更改主机名。在我的Namenode /etc/hosts文件中,包含以下几行:

127.0.0.1   localhost
127.0.1.1   hadoop-Namenode
192.168.75.131  hadoop-Namenode
192.168.75.132  hadoop-datanode-1

在Datanode /etc/hosts中,我有:

127.0.0.1   localhost
127.0.1.1   hadoop-datanode-1
192.168.75.131  hadoop-Namenode
192.168.75.132  hadoop-datanode-1

有什么建议吗?

1 个答案:

答案 0 :(得分:1)

该问题已通过从两台计算机上删除127.0.1.1行来解决

127.0.1.1   hadoop-Namenode
127.0.1.1   hadoop-datanode-1

这些行在尝试解析主机名时引起冲突。