如何在Java中使用repartitionAndSortWithinPartitions

时间:2016-12-09 22:58:05

标签: java sorting apache-spark partition

任何人都可以给出一个明确的例子,说明如何在Java中使用repartitionAndSortWithinPartitions,而不是scala。

提前致谢!! ANI

1 个答案:

答案 0 :(得分:2)

选择JavaPairRDD<K, V>

JavaPairRDD<K, V> rdd = ...;

定义分区器:

Partitioner partitioner = ...;

如果需要,可以选择定义Comparator<K>

Comparator<K> comparator = ...;

申请方法:

JavaPairRDD<K, V> repartitioned =
  rdd.repartitionAndSortWithinPartitions(partitioner);

JavaPairRDD<K, V> repartitioned =
  rdd.repartitionAndSortWithinPartitions(partitioner, comparator);