如果Reducer的数量超过Datanode，会发生什么

Question

如果我有3个数据节点，我将Reducer Tasks的数量设置为4，在这种情况下发生了什么？第四个将待命，直到其中一个datanode完成其减速器任务？或者其中两个将同时在同一个datanode中运行？

Answer 1

添加到Chaos的答案中，如果您将reduce任务的数量设置为大于整个群集中为reduce任务提供的插槽的数量，则只要先前的reduce槽未被占用，就会运行剩余reduce任务。

Answer 2

Reduce Tasks不依赖于Datanode，它们取决于分配给特定节点的插槽数。 TaskTracker负责在群集中的任何节点上的这些插槽上运行任务。每个节点可以有多个插槽，因此每个节点可以运行多个Reduce任务。