Question

我正在用完一分钟的问题。

我正在尝试从Reducer获取不同键的不同文件。

分区

public class customPartitioner extends Partitioner<Text, NullWritable> implements
Configurable {
private Configuration configuration;

@Override
public Configuration getConf() {
    return configuration;
}

public int getPartition(Text key, NullWritable value, int numPartitions) {
    return Math.abs(key.hashCode()) % numPartitions;
}
}

我在我的驱动程序类中设置了以下内容

job0.setPartitionerClass(customPartitioner.class);
job0.setNumReduceTasks(5);

对于减速机我有5把钥匙

[3,0,5,8,12]

所以我需要获得5个不同的文件。

但是一旦我运行这段代码，我就得到了5个部分文件，但结果不是预期的。

输出

Found 6 items
-rw-r--r--   3 sreeveni root          0 2015-12-09 11:44 /OUT/Part/OUT/_SUCCESS
-rw-r--r--   3 sreeveni root          0 2015-12-09 11:44 /OUT/Part/OUT/part-r-00000
-rw-r--r--   3 sreeveni root          4 2015-12-09 11:44 /OUT/Part/OUT/part-r-00001
-rw-r--r--   3 sreeveni root          0 2015-12-09 11:44 /OUT/Part/OUT/part-r-00002
-rw-r--r--   3 sreeveni root          4 2015-12-09 11:44 /OUT/Part/OUT/part-r-00003
-rw-r--r--   3 sreeveni root          3 2015-12-09 11:44 /OUT/Part/OUT/part-r-00004

在那2个文件是空的，另一个包含

sreeveni@machine10:~$ hadoop fs -cat /OUT/Part/OUT/part-r-00001
3
8
sreeveni@machine10:~$ hadoop fs -cat /OUT/Part/OUT/part-r-00003
0
5
sreeveni@machine10:~$ hadoop fs -cat /OUT/Part/OUT/part-r-00004
12

为什么2个键位于一个文件下？

我的代码中有任何错误吗？请帮忙

Answer 1

您的分区程序正在做正确的事情，所以我会尝试解释原因。让我们将您的每个输入传递到您的分区代码中，看看会发生什么。 numPartitions为5，因为它是您设置的缩减器数量。

int hash = new Text("3").hashCode(); // = 82
hash % numPartitions; // = 2

hash = new Text("0").hashCode(); // = 79
hash % numPartitions; // = 4

hash = new Text("5").hashCode(); // = 84
hash % numPartitions; // = 4

hash = new Text("8").hashCode(); // = 87
hash % numPartitions; // = 2

hash = new Text("12").hashCode(); // = 2530
hash % numPartitions; // = 0

正如我们所看到的，我们手动运行相同的结果。两个键位于一个文件下，因为分区程序将它们分配给同一个reducer。分区将在更大的数据集的过程中均匀，但您不能指望代码自动均匀地分配所有输入。

即使使用Hadoop自定义分区程序，不同的密钥也会进入1个文件

1 个答案: