CoGroupByKey如何使用discardingFiredPanes?

时间:2016-08-03 18:48:27

标签: google-cloud-dataflow apache-beam

也就是说,如果我有一个触发器触发每个pcollection上的每个新元素触发的GlobalWindow,设置为discardingFiredPanes,当rhs引发火灾时,CoGroupByKey将使用lhs触发,或者使用lhs中的最后一个值触发?

鉴于这两个数据集

P1: |id|x1| |1 |10| |1 |11| |1 |12| P2: |id|x2| |1 |20| |1 |21| |1 |22|

我应该期待:

|id| x1 | x2 | |1 |[10]|null| |1 |null|[20]| |1 |[11]|null| |1 |null|[21]| |1 |[12]|null| |1 |null|[22]|

或:

|id| x1 | x2 | |1 |[10]|null| |1 |[10]|[20]| |1 |[11]|[20]| |1 |[11]|[21]| |1 |[12]|[21]| |1 |[12]|[22]|

1 个答案:

答案 0 :(得分:2)

CoGroupByKey两边的元素分别由触发系统独立处理,因此您将获得:

|id| x1 | x2 |
|1 |[10]|null|
|1 |null|[20]|
|1 |[11]|null|
|1 |null|[21]|
|1 |[12]|null|
|1 |null|[22]|