所有地图任务都达到了100％，但仍处于运行状态

Question

在我的MR工作中，使用HFileOutputFormat进行批量加载，产生了87个地图任务，在大约20分钟内，所有任务都达到了100％。然而，在hadoop管理页面中，单个任务状态仍处于“正在运行”状态，并且没有一个被移动到已完成状态。 reducer始终处于挂起状态，永不启动。我等了但是在30分钟超时后它出错了。

我的工作必须加载150多列。我尝试使用较少数量的列运行相同的MR作业，并且很容易完成。知道为什么即使达到100％之后地图任务也没有移动到完成状态？

Answer 1

一个可能的原因是发出的输出数据会很大。对它进行排序，将其写回磁盘将是一件非常耗时的事情。通常情况并非如此。 检查日志并寻找改进map-reduce代码的方法是明智的。