Apache Beam在批处理作业中触发空窗口

时间:2017-06-19 14:37:56

标签: google-cloud-dataflow apache-beam

我试图弄清楚如何在我的Pipeline批处理作业中触发一个空窗口。管道从BigQuery表读取数据并应用窗口将数据分区为几天,并将该数据加载到分区的BigQuery表中。现在,如果源没有任何数据,则作业永远不会完成,因为没有触发单个窗口。

如何在没有收到任何数据的情况下1分钟后强制空窗口触发让我们说? AfterProcessingTime.pastFirstElementInPane()触发器需要触发至少1个不起作用的项目。我试过添加一个" heartbeat"虚拟行进入该过程以触发窗口,直到我尝试在Windows策略之后再次过滤它,因为我显然不想将其写入BigQuery表。

任何人都知道如何做到这一点?

0 个答案:

没有答案