我正在尝试将Hadoop 3.1.0安装到两个虚拟机中:
第一台计算机包含一个名称节点和一个数据节点,第二台计算机包含一个数据节点。
我关注了这篇文章Install Hadoop 3.0.0 multi-node cluster on Ubuntu。一切顺利,直到我执行了start-dfs.sh和start-yarn.sh命令。
当我在“名称”节点上运行Jps
命令时,它将显示以下结果:
16488 NameNode
16622 DataNode
17215 NodeManager
17087 ResourceManager
17530 Jps
16829 SecondaryNameNode
当我在“数据”节点上运行它时,它会显示:
2306 DataNode
2479 NodeManager
2581 Jps
但是奇怪的是,在执行hdfs dfsadmin -report
命令时,它仅显示Live datanodes (1)
,这是本地数据节点。
我进行了很多搜索;我没有发现任何有用的信息。
我试图:
stop-all.sh
hdfs namenode -format
命令这里有一个类似的问题:Hadoop UI shows only one Datanode,他们建议在其中更改主机名。在我的Namenode /etc/hosts
文件中,包含以下几行:
127.0.0.1 localhost
127.0.1.1 hadoop-Namenode
192.168.75.131 hadoop-Namenode
192.168.75.132 hadoop-datanode-1
在Datanode /etc/hosts
中,我有:
127.0.0.1 localhost
127.0.1.1 hadoop-datanode-1
192.168.75.131 hadoop-Namenode
192.168.75.132 hadoop-datanode-1
有什么建议吗?
答案 0 :(得分:1)
该问题已通过从两台计算机上删除127.0.1.1
行来解决
127.0.1.1 hadoop-Namenode
127.0.1.1 hadoop-datanode-1
这些行在尝试解析主机名时引起冲突。