我有一个协调员,其中包含一个工作流程,有几个“PIG forks”。每个“PIG fork”都是使用不同参数执行相同的PIG脚本。
此类协调器使用群集上可用的所有资源,因为PIG脚本需要处理大量数据。现在问题在于此。
有时,协调员会在两小时内成功终止。有时,它永远不会结束。
在第二种情况下,PIG日志是:
2016-05-19 04:14:08,884 [communication thread] INFO org.apache.hadoop.mapred.TaskAttemptListenerImpl - Progress of TaskAttempt attempt_1460732649780_25701_m_000000_0 is : 1.0
...
2016-05-19 07:40:38,492 [communication thread] INFO org.apache.hadoop.mapred.TaskAttemptListenerImpl - Progress of TaskAttempt attempt_1460732649780_25701_m_000000_0 is : 1.0
然后在每个分叉的PIG脚本中无限期地重复这样的消息......并且YARN似乎被冻结(它不能分配新的容器)。
您是否有解决此类问题的解决方案?