Hadoop cdh4：在映射器完成之前，reducers完成

Question

我看到hadoop cdh4的奇怪行为。在所有映射器完成之前，一些减速器已完成。我认为所有减速器（调用reduce（））必须等到映射器完成。这是一个hadoop bug吗？他们的某些情况是否可能最终导致这种状态？我在这里缺少什么？

Answer 1

有时，当Job出现故障时，您会看到Hadoop UI的奇怪行为。我认为你看到这个是因为你有一个任务失败或可能更多，有些未能在UI中反映出来。可能是由于任务工作者和工作者之间的网络通信延迟或内部计算（我不是很确定）。这个文档没有很好的记录。

恐怕我无法帮助你。您可能希望查找Hadoop WebUI的任何错误。如果我找到，我会回复你的。