限制每个用户的并发Reducer数

Question

有没有办法限制hadoop中每个用户的并发减少时隙数？我们希望确保没有任何一个用户在任何时候都在耗尽所有可用的缩减时隙。

Answer 1

使用FairScheduler in the current version of Hadoop可以实现。您可以为每个用户分配一个池，然后设置maxReduces。但是，FairScheduler with 0.20.203中没有此选项。此版本方便地minReduces没有maxReduces。