在Apache Beam中加入“可选” PCollection

时间:2018-10-01 06:02:05

标签: apache-beam

我当然想在Windows中将CoGroupByKey设置为两个无边界的PCollection。我们称它们为主要和可选。每当触发主PCollection时,我都需要加入的PCollection才能继续。但是,可选的PCollection可以为空或非常“稀疏”-例如每天一元素。 我观察到的问题是可选PCollection的水印没有移动,因此联接的PCollection也被卡住了。当我尝试将这些PCollection放在一起时,也会发生同样的情况。

所有需要使用事件时间戳发生。

0 个答案:

没有答案