即使某些映射器失败,也可以在完全映射的架构中保存已完成的映射器的输出

时间:2016-11-06 09:57:25

标签: hadoop mapreduce hadoop-streaming

我只运行地图(减少数量= 0)地图减少流媒体工作。在映射器代码的末尾,我明确地写了map的输出。但有时我的一些映射器任务失败了。

我期待在HDFS中看到已完成的映射器的输出。我的逻辑是因为没有reducer,所以输出应该直接写入HDFS。但是,即使单个映射器失败,我也无法在输出HDFS文件夹中看到任何数据。为什么会这样?我的理解有什么缺陷吗?

0 个答案:

没有答案