如何按mapreduce中的键和值排序？

Question

我有一个文本文件：

10  1   15
10  12  30
10  9   45
10  8   40
10  15  55
12  9   0
12  7   18
12  10  1
9   1   1
9   2   1
9   0   1
14  5   5

我想将此文件作为MapReduce作业的输出：

9   0   1   
9   1   1   
9   2   1   
10  1   15  
10  9   40  
10  9   45  
10  12  30  
10  15  55  
12  7   18  
12  9   0   
12  10  1   
14  5   5

这意味着它必须按第1列，第2列和第3列排序。

我使用这个命令：

#!/bin/bash

IN_DIR="/user/cloudera/temp"
OUT_DIR="/user/cloudera/temp_out"
NUM_REDUCERS=1

hdfs dfs -rmr ${OUT_DIR} > /dev/null

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \
-D mapred.jab.name="Parsing mista pages job 1 (parsing)" \
-D stream.num.map.output.key.fields=3 \
-D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator \
-D mapreduce.partition.keycomparator.options='-k1,1n -k2,2n -k3,3n' \
-D mapreduce.job.reduces=${NUM_REDUCERS} \
-mapper 'cat' \
-reducer 'cat' \
-input ${IN_DIR} \
-output ${OUT_DIR}

hdfs dfs -cat ${OUT_DIR}/* | head -100

得到我想要的东西。但。当我执行NUM_REDUCERS = 2时，我得到此输出：

[cloudera@quickstart ~]$ hdfs dfs -cat /user/cloudera/temp_out/part-00000 | head -100
9   1   1   
10  9   45  
10  12  30  
10  15  55  
12  7   18  
12  10  1   
14  5   5

[cloudera@quickstart ~]$ hdfs dfs -cat /user/cloudera/temp_out/part-00001 | head -100
9   0   1   
9   2   1   
10  1   15  
10  9   40  
12  9   0

为什么分区程序将我的数据用相同的键（例如＆＃39; 9＆＃39;）拆分到不同的reducer？

如何强制分区程序按键拆分Mapper输出并按值排序。例如，如果我有4个reducer，则reducers输入应为：

reducer 1
9   0   1   
9   1   1   
9   2   1   

reducer 2
10  1   15  
10  9   40  
10  9   45  
10  12  30  
10  15  55  

reducer 3
12  7   18  
12  9   0   
12  10  1

reducer 4:   
14  5   5

Answer 1

你可以覆盖default Partioner以将每个键放入不同的缩小。设置相同的减少Nums。让每个减少只处理一个密钥。

例如（）

groupMap.put("9", 0);
groupMap.put("10", 1);
groupMap.put("12", 2);
groupMap.put("14", 3);

添加-partitioner参数以在作业中使用您自己的分区。 我认为它可能适合你