mapPartition / combineGroup操作的可能分区策略?

时间:2019-05-29 09:59:04

标签: apache-flink

我有一个看起来像这样的变换:

val partitionTransactions = transactions
            .groupBy(GroupKeySelector()).reduceGroup(TransactionAggregator())
            .combineGroup(PartitionTransactionsCreator())

但是,不管我的环境是否并行, 我看到PartitionTransactionsCreator总是只看到2个分区。 我尝试在rebalance之前使用partitionByHashcombineGroup, 而且我还尝试使用mapPartition代替combineGroup, 但输出始终分为2个分区, 即使TransactionAggregator个并行实例与配置的并行度一样多。

  1. Flink如何确定进入分区的内容,为什么不能更改它?
  2. mapPartitioncombineGroup在未分组的DataSet上使用时是否有区别?

0 个答案:

没有答案