我可以在EMR中重新运行失败的映射器吗？

Question

我刚刚醒来，失败的16小时长的EMR MpaReduce工作失败了，因为很少有人能够做到这一点。超时的地图集。

有没有办法只重新运行那些失败的映射器（是的，在我的特定用例中是否有意义）？怎么样？

Answer 1

实时问题太迟了。一般来说 - 没有。

但有时候这是可能的。如果您可以省去找出失败的映射器（来自映射器日志）正在处理的拆分 - 如果这是一个仅限映射的作业 - 那么您可以创建一个仅在失败的拆分后才能执行的自定义作业。一般来说非常难 - 特别是因为拆分通常会跨文件。