如果我们有12个分区键并且我们只有8个Reducers,那么将创建多少个op part文件?
即使4个减速器适用于2个键,也不会创建部分文件的12个。即。 1个减速器会发出2个零件文件,因为它带2个键(4个减速器)或两个键的数据(给1个减速器)将合并成一个零件文件,因此只生成8个零件文件?
答案 0 :(得分:1)
如果4个Reducer适用于2个键,则创建的部分文件数将为8个。如果需要多个键,则reduce任务将只生成一个部分文件。减少任务分区可能包含多个键并对它们进行排序.Reduce Reducer类中的方法将按键的排序顺序获取此键。
您可以从以下链接中了解更多相关信息。
1)Yahoo