比较器在python

时间:2017-03-24 07:17:16

标签: python sorting hadoop-streaming

运行此命令以排序数据:  -D mapreduce.job.output.key.comparator.class = org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator \  -D mapreduce.partition.keycomparator.options = -k1n,2n \

我可以在我的reducer中看到相同的键存在,但它们没有按顺序排列

格式是键(field1)\ t键(field2)|值由|分隔 它正在运行小数据集但是当我接受大数据集时,数据被分区但没有排序。可以提供任何身体帮助吗?

0 个答案:

没有答案