标签: google-cloud-dataflow apache-beam google-cloud-pubsub
我有一个用例,其中有一个数据流作业以流模式运行,并且每小时固定一个窗口。
当管道在给定窗口中运行时,我们计算一些数据并将其写入数据源。我下一步要做的是在写入完成后将一些消息发布到PubSub-在写PubSub之前如何确保写入步骤已完成?
如果管道以批处理模式执行,我知道我可以按照建议的here以阻塞方式执行它,但是棘手的部分是它一直以流模式运行。
答案 0 :(得分:2)
Wait.on()转换是为此用例设计的。有关用法示例,请参阅文档。
Wait.on()