情况: 在我的测试apache hadoop中,我运行了一个MapReduce作业。 如果我的某个datanode出现故障(我从机器上取下),这个datanode正在使用我的MapReduce作业。
我的想法: 我直觉地认为,作业会运行一点点,除了它不会失败,因为文件块在其他节点中复制。
有人说我可以设置参数:
dfs.client.block.write.replace-datanode-on-failure.enable = true 的 dfs.client.block.write.replace-数据节点上-failure.best省力=真
因此,我的工作将跳过死数据节点并查看另一个可用的数据节点。
我的问题是: 有人知道文件在哪里我可以查看它并查看我的工作生命周期? 从一个死的datanode恢复另一个可用的?
首先我认为是editlog,但我无法清楚地阅读。
答案 0 :(得分:0)
请检查您的datanode和namenode id是否相同。如果你检查datanode文件。然后你去datanode文件夹并转到当前目录。然后看文件。