PIG脚本：reducer抢占为临时映射尝试腾出空间

Question

我使用不同的参数运行相同PIG脚本的多个实例。

当群集负载很重时，Map Reduce作业日志显示大量的reducers被抢占，这需要时间：

Reducer preempted to make room for pending map attempts Container killed 
by the ApplicationMaster. Container killed on request. Exit code is 143 
Container exited with a non-zero exit code 143 

如何避免此类抢占问题以最大限度地缩短脚本执行时间？

Answer 1

查看this链接。

简而言之，您可以使用以下命令之一

SET mapred.reduce.slowstart.completed.maps 1.00;
SET mapreduce.job.reduce.slowstart.completedmaps 1.00;

取决于您的Hadoop版本（后者适用于Hadoop 2.4.1+）。一旦所有地图制作艺术完成，它将启动缩减器。