在experimenting with 2 reducers之后,从Hadoop Wiki,HowManyMapsAndReduces,hadoop: number of reducers remains a constant 4和Hadoop: Number of mappers and reducers阅读Setting the number of map tasks and reduce tasks我得出的结论是:
如果我有1个地图(我明白这个数字实际上由Hadoop决定)和2个减速器(我实际上只提供了1个带有减速器代码的文件,例如-reducer /bin/wc
),那么将会发生什么以下
我认为是第一种选择,但我在搜索网络时找不到证据。
答案 0 :(得分:4)
选项1a:Hadoop会将数据分发给reducer,但可能无法均匀分配。无法保证平衡,特别是如果(1)您的密钥分配有偏差或(2)没有大量记录。