92%后减速机需要更多时间

时间:2013-05-08 13:10:15

标签: hadoop mapreduce hbase

我有一个使用HFileOutputFormat加载HBase表的批量加载作业。我的映射器在2-3分钟内完成,然后减速器(由HFileOutputFomat调用的PutSortReducer)在接下来的2分钟内完成92%,但需要大约9分钟才能完成剩余的8%

在我的工作中产生了10个减少任务,其中总共8或9个任务在2-3分钟内完成,剩下的一个或两个任务需要9分钟。而这些最后一个或两个任务通常是重新启动的任务,而不是失败的任务。作为任务失败的原因,日志不会显示任何明显的错误

0 个答案:

没有答案