PIG:脚本永无止境

时间:2016-05-19 08:35:53

标签: hadoop mapreduce apache-pig cloudera oozie

我有一个协调员,其中包含一个工作流程,有几个“PIG forks”。每个“PIG fork”都是使用不同参数执行相同的PIG脚本。

此类协调器使用群集上可用的所有资源,因为PIG脚本需要处理大量数据。现在问题在于此。

有时,协调员会在两小时内成功终止。有时,它永远不会结束。

在第二种情况下,PIG日志是:

2016-05-19 04:14:08,884 [communication thread] INFO  org.apache.hadoop.mapred.TaskAttemptListenerImpl  - Progress of TaskAttempt attempt_1460732649780_25701_m_000000_0 is : 1.0
...
2016-05-19 07:40:38,492 [communication thread] INFO  org.apache.hadoop.mapred.TaskAttemptListenerImpl  - Progress of TaskAttempt attempt_1460732649780_25701_m_000000_0 is : 1.0

然后在每个分叉的PIG脚本中无限期地重复这样的消息......并且YARN似乎被冻结(它不能分配新的容器)。

您是否有解决此类问题的解决方案?

0 个答案:

没有答案