Apache Flink中的全局排序

Question

数据集的sortPartition方法根据某些指定的字段在本地对数据集进行排序。如何在Flink中以高效的方式全局排序我的大型数据集？

Answer 1

目前这不容易实现，因为Flink尚未提供内置范围分区策略。

解决方法是实现自定义Partitioner：

DataSet<Tuple2<Long, Long>> data = ...
data
  .partitionCustom(new Partitioner<Long>() {
    int partition(Long key, int numPartitions) {
      // your implementation
    }
  }, 0)
  .sortPartition(0, Order.ASCENDING)
  .writeAsText("/my/output");

注意：为了使用自定义分区程序实现平衡分区，您需要了解密钥的值范围和分布。

Apache Flink中对范围分区程序（带自动采样）的支持目前为work in progress，应该很快就可以使用。

编辑（2016年6月7日）：范围分区已添加到版本为1.0.0的Apache Flink。您可以按如下方式对数据集进行全局排序：

DataSet<Tuple2<Long, Long>> data = ...
data
  .partitionByRange(0)
  .sortPartition(0, Order.ASCENDING)
  .writeAsText("/my/output");

请注意，范围分区会对输入数据集进行采样，以计算同等大小的分区的数据分布。