是_logs / skip /与hadoop版本相关吗?

时间:2018-03-02 08:19:07

标签: hadoop mapreduce

我正在做关于MapReduce任务失败的项目。根据Hadoop Beginner的Gudie(Garry Tukington),所有跳过数据都存储在_logs / skip /文件夹中。作者使用了Hadoop 1.0版本。我正在使用Hadoop 2.7.4。虽然我使用跳过数据进行了测试,但是既没有创建输出文件夹,也没有创建_logs / skip /。 _logs / skip文件夹与Hadoop版本有关吗?如果我想跳过hadoop 2.7.4中的数据,我该怎么办?

1 个答案:

答案 0 :(得分:0)

简短的回答是否定的,它根本与hadoop无关。 执行时会创建许多临时文件夹,这些文件夹在执行完成后将被删除。这包括日志文件夹,临时输出文件夹和其他临时文件夹。

你不应该被他们搞糊涂。唯一的保证是,即使没有输出,它也会生成一个带有_SUCCESS文件的输出文件夹。

我希望它能回答你的问题。