Hadoop:java.io.IOException:/ tmp / hadoop-twagenhals / dfs / data中不兼容的clusterID:

时间:2019-02-24 01:37:23

标签: bash hadoop hdfs nodes slurm

我正在MIT超级云上运行bash脚本。该脚本使用SLURM请求资源。在这种情况下,它是2个节点,一个是主节点,一个是从节点。

这是我的bash脚本,用于配置hadoop以在两个分配的节点上运行:

Hadoop bash script

当我使用sbatch命令运行bash脚本时,看到以下输出:

SLURM log

从此输出中,我看到我的jps命令未显示datanode。我还看到我的“ hdfs dfsadmin -report”命令为该字段显示了全0,这似乎很奇怪。查看datanode日志,显然我的datanode设置存在问题:

Hadoop Datanode Log

根据该描述,我尝试查看其他具有相同错误的帖子,例如this one.,这听起来像是他们的错字,所以使用的默认目录是/ tmp目录。在上面的示例中,我的hdfs-core.xml文件中没有任何内容(在显示的代码中将其注释掉了)。我这样做是因为删除评论时,我得到的是以下输出:

SLURM output with hdfs uncommented

Namenode output with hdfs uncommented

Datanode output with hdfs uncommented

我承认我没有像第二个错误那样仔细研究第二个错误。无论哪种情况,我都不知道应该怎么做才能解决该问题,对于两种配置的建议将不胜感激。

谢谢。

0 个答案:

没有答案