我正在尝试对10个数据节点的集群中的Map reduce程序进行性能测试。在此过程中，我使用了5个Reducers，然后是10个，依此类推。
我当时认为增加减速器的数量也会使得工作更快，但我观察到30年后，即使你将数字增加到70，但是作业运行时没有任何区别，尽管有400多个独特的键和增加超过30的减速器的数量应该有所不同不是吗？
任何人都可以帮我理解是否有任何特殊原因吗？
提前致谢
答案 0 :(得分：1)
有多种原因导致您没有观察到性能的提高。在进行此性能测试时，您运行的是哪些基准测试？你还有多少个地图制作者？你工作的规模是多少......
根据您在此处简要描述的内容，我们可以怀疑您没有足够的映射器和/或它们完成得太慢。
请记住，减速器只有在映射器有可用输出时才能开始工作。因此，你的30个减速器可能足以处理映射器的输出速度和大小，因此增加更多将没有区别，因为大多数都在空闲等待映射器完成并为减速器提供新的数据来处理
我希望这有帮助！