hadoop reducer进展100％但不会结束

Question

我正在运行一个带有16个减少任务的hadoop作业。 （Hadoop的1.2.1）

他们中的一些人有100％的进步，但他们没有结束。 他们只是坚持100％和工作清理：等待。 并且他们的状态仅显示'reduce＆gt;减少。

我想这个问题的出现是因为作业写了太多的输出。 （约50~100多输出） 但这只是我的猜测。我不确切地知道写多个多输出会导致这个问题。 谁能告诉我是什么原因导致了这个问题？ 我搜索了很多，但我找不到一个明确的答案。

最好的问候。

Answer 1

你看过任务日志了吗？您应该能够分辨出任务正在做什么。例如，您应该看看它是否正在合并文件。

另外，请记下Reducer正在处理的数据量。正在完成处理的减速器是否比没有在同一时间内完成的数据少？如果是这样，那么这指向减速器偏斜（数据偏斜），他们正在做比其他人更多的工作。