如果我们有12个分区键并且我们只有8个Reducers,那么将生成多少个op文件?

时间:2014-04-11 07:03:16

标签: java hadoop mapreduce

如果我们有12个分区键并且我们只有8个Reducers,那么将创建多少个op part文件?

即使4个减速器适用于2个键,也不会创建部分文件的12个。即。 1个减速器会发出2个零件文件,因为它带2个键(4个减速器)或两个键的数据(给1个减速器)将合并成一个零件文件,因此只生成8个零件文件?

1 个答案:

答案 0 :(得分:1)

如果4个Reducer适用于2个键,则创建的部分文件数将为8个。如果需要多个键,则reduce任务将只生成一个部分文件。减少任务分区可能包含多个键并对它们进行排序.Reduce Reducer类中的方法将按键的排序顺序获取此键。

您可以从以下链接中了解更多相关信息。

1)Yahoo

2)hadoop-definitive-guide-tom-white