为什么挂起的地图任务无法启动?

时间:2014-02-17 13:35:35

标签: hadoop apache-pig cloudera

我有一个特别的猪工作,通常需要大约12分钟才能运行但是每天几次它会陷入奇怪的状态。这份工作有6个地图和1个减少任务。它成功地完成了第一个地图任务,然后它保持“暂停”几个小时(永远!)。作业跟踪器指示有5个映射和1个reduce pending,但是没有任务正在运行。没有任务显示任何错误。地图任务将无法启动,但不会发生错误。

我如何弄清楚为什么这些任务没有开始?

我尝试过提高作业优先级,并且我已经确认有可用的地图和缩小广告位。运行的一个映射的任务日志看起来完全正常。是否有某些其他日志可以告诉我发生了什么?

我正在使用Cloudera CDH4.5和MR1。小集群有5个节点。

1 个答案:

答案 0 :(得分:0)

查看第一个地图任务的日志 - 它可能已失败。我遇到了许多情况,其中第一个地图任务失败,但报告为成功,后续地图任务都没有开始。