写入步骤完成后,流传输管道发布到pubsub

时间:2018-06-20 22:06:23

标签: google-cloud-dataflow apache-beam google-cloud-pubsub

我有一个用例,其中有一个数据流作业以流模式运行,并且每小时固定一个窗口。

当管道在给定窗口中运行时,我们计算一些数据并将其写入数据源。我下一步要做的是在写入完成后将一些消息发布到PubSub-在写PubSub之前如何确保写入步骤已完成?

如果管道以批处理模式执行,我知道我可以按照建议的here以阻塞方式执行它,但是棘手的部分是它一直以流模式运行。

1 个答案:

答案 0 :(得分:2)

Wait.on()转换是为此用例设计的。有关用法示例,请参阅文档。