部署Hadoop集群2.6后,Datanode无法启动

时间:2017-06-14 10:01:55

标签: linux hadoop apache-spark redhat

ERROR received in the logs:
FATAL datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to hadooptest3/100.6.89.29:8020

2 个答案:

答案 0 :(得分:0)

有两种可能的解决方案可以解决

首先:

Your namenode and datanode cluster ID does not match, make sure to make them the same.

在名称节点中,更改位于以下位置的文件中的群集ID:

cat HADOOP_FILE_SYSTEM/namenode/current/VERSION 

在数据节点中,您的群集ID存储在文件中:

cat HADOOP_FILE_SYSTEM/datanode/current/VERSION

此位置在群集中的hdfs-site.xml文件中设置。

检查您的hdfs-site.xml文件并检查dfs.datanode.data.dirdfs.namenode.name.dir

通过浏览这些文件夹,我获取内容(在我的伪群集中)

clusterID=CID-483c19b1-b198-4806-93d2-af7508d1a5e5

您应该具有完全相同的群集ID。

其次:

格式化namenode:

Hadoop 1.x: hadoop namenode -format

Hadoop 2.x: hdfs namenode -format

或者,删除hdfs根目录/tmp/hadoop-root/(在conf文件中设置) - 并格式化namenode以从开始初始化。

答案 1 :(得分:0)

您的配置文件看起来很好。在您评论Unexpected version of storage directory /home/hadoop/hdfs. Reported: -60. Expecting = -56.的错误日志中,当您应用`hadoop namenode -format命令时,data 中创建的/home/hadoop/hdfs目录似乎未重新格式化。 / p>

因此,我建议您delete data之前/home/hadoop/hdfs format namenode内的format目录。然后应用hadoop命令并启动<body class="background"> <div class="page"> <div class="title-boss-offset"> </div><div class="title-boss"> </div></div> </body> 群集。那应该解决。