pig忽略maxReducers并使用mapred.reduce.tasks代替

时间:2013-02-17 13:58:29

标签: hadoop apache-pig

我的猪脚本会产生大约5个MR作业。 当它开始执行时,猪打印:

 BytesPerReducer=1000000000 maxReducers=999

并继续使用一个reducer创建一个MR作业:

 Neither PARALLEL nor default parallelism is set for this job. Setting number of reducers to 1

但是,对于从同一个脚本生成的后续作业,它不会打印此行,并且在其中一个行程中会创建mapred.reduce.tasks个缩减器,在我的群集中为4992。

这是一个已知的错误吗?或者我在这里遗漏了什么?

1 个答案:

答案 0 :(得分:0)

在你的猪脚本中使用它:

SET pig.exec.reducers.max 4000

Read this for more information.