可以同时运行多少Mapreduce作业

Question

我想知道在单个节点hadoop环境中可以同时提交/运行多少Mapreduce作业。是否有任何限制？

Answer 1

从配置角度来看，我没有任何限制。您可以将map和reduce插槽的数量设置为您想要的任何值。但实际上，每个插槽都必须启动一个能够运行一些hadoop代码的JVM，这需要一些内存，所以最终你的机器上会耗尽内存。您可能还必须巧妙地配置作业队列，以便同时运行吨。

现在，可能的是一个非常不同的问题而不是一个好主意......

Answer 2

您可以提交所需的任意数量的作业，它们将排队等待，调度程序将根据FIFO（默认情况下）和可用资源运行它们.Hotoop正在执行的作业数量将取决于上述John所描述的。 / p>

Answer 3

配置群集时设置Reducer插槽的数量。这将根据每个作业请求的Reducers数量限制MapReduce作业的数量。映射器通常受每个节点的DataNode数量和处理器数量的限制。