hadoop：限制每个作业的并发map / reduce任务数

Question

我想将研究工作提交到生产集群。由于我不需要快速完成这项工作，并且我不想延迟生产作业，因此我想限制在任何给定时间执行该作业的任务数量。我可以在Hadoop 2中这样做吗？

Answer 1

为了限制Hadoop mapreduce资源（map / reduce slots），可以使用公平调度程序。您最好通过设置所需数量的最大映射器和最大缩减器来创建新的fairscheduler池，并且可以将作业提交给新创建的fairscheduler池。

Answer 2

您也可以执行以下操作

1. job.getConfiguration（）。setInt（“mapred.map.tasks”，1）;
2. job.setNumReduceTasks（1）;
3. job.setPriority（JobPriority.VERY_LOW）;