我有一个特别的猪工作,通常需要大约12分钟才能运行但是每天几次它会陷入奇怪的状态。这份工作有6个地图和1个减少任务。它成功地完成了第一个地图任务,然后它保持“暂停”几个小时(永远!)。作业跟踪器指示有5个映射和1个reduce pending,但是没有任务正在运行。没有任务显示任何错误。地图任务将无法启动,但不会发生错误。
我如何弄清楚为什么这些任务没有开始?
我尝试过提高作业优先级,并且我已经确认有可用的地图和缩小广告位。运行的一个映射的任务日志看起来完全正常。是否有某些其他日志可以告诉我发生了什么?
我正在使用Cloudera CDH4.5和MR1。小集群有5个节点。
答案 0 :(得分:0)
查看第一个地图任务的日志 - 它可能已失败。我遇到了许多情况,其中第一个地图任务失败,但报告为成功,后续地图任务都没有开始。