Hadoop - 仅针对Reduce的故障恢复

Question

我有一个hadoop工作正在运行，已经完成了4天的地图部分，现在它似乎在减少阶段被暂停（减速器完成了30％）

我真的希望有一种方法只能重新处理reduce部分而不必重新处理长期地图部分，任何建议？ 我只有一台减速机可能会让事情变得更糟。

谢谢！

Answer 1

Hadoop只会在你的情况下重启Reduce步骤。

但是，如果您的工作失败，您不能跳过地图步骤。 在这种情况下，您应该将这两个阶段分成单独的工作，特别是如果您的映射器是计算密集型的。