我的猪脚本会产生大约5个MR作业。 当它开始执行时,猪打印:
BytesPerReducer=1000000000 maxReducers=999
并继续使用一个reducer创建一个MR作业:
Neither PARALLEL nor default parallelism is set for this job. Setting number of reducers to 1
但是,对于从同一个脚本生成的后续作业,它不会打印此行,并且在其中一个行程中会创建mapred.reduce.tasks
个缩减器,在我的群集中为4992。
这是一个已知的错误吗?或者我在这里遗漏了什么?