在MapReduce中使用更多减速器有什么优缺点？

Question

MapReduce编程完全是关于并行处理，那么为什么我们在许多情况下从单个reducer开始。在MapReduce中使用更多减速器有什么优缺点？

Answer 1

一个reducer可能在一个或多个分区上工作，因此它特别限制了并行化，因为它只是一个。

太多的reducer会导致创建太多的小型 HDFS（输出）文件，这是不好的，并且会对HDFS施加压力，因为需要完成内务管理。