我正在MIT超级云上运行bash脚本。该脚本使用SLURM请求资源。在这种情况下,它是2个节点,一个是主节点,一个是从节点。
这是我的bash脚本,用于配置hadoop以在两个分配的节点上运行:
当我使用sbatch命令运行bash脚本时,看到以下输出:
从此输出中,我看到我的jps命令未显示datanode。我还看到我的“ hdfs dfsadmin -report”命令为该字段显示了全0,这似乎很奇怪。查看datanode日志,显然我的datanode设置存在问题:
根据该描述,我尝试查看其他具有相同错误的帖子,例如this one.,这听起来像是他们的错字,所以使用的默认目录是/ tmp目录。在上面的示例中,我的hdfs-core.xml文件中没有任何内容(在显示的代码中将其注释掉了)。我这样做是因为删除评论时,我得到的是以下输出:
SLURM output with hdfs uncommented
Namenode output with hdfs uncommented
Datanode output with hdfs uncommented
我承认我没有像第二个错误那样仔细研究第二个错误。无论哪种情况,我都不知道应该怎么做才能解决该问题,对于两种配置的建议将不胜感激。
谢谢。