是否可以使用发布/订阅输入修改apache束流而不会中断?

时间:2019-06-20 13:45:17

标签: google-cloud-dataflow apache-beam google-cloud-pubsub

1)我编写了一个管道,该管道具有输入pub / sub流。我想使用--update或--jobName选项对其进行修改。在pub / sub和整个管道中的数据发生了什么?

2)由于某些原因,我必须关闭管道:a)几个小时或b)几天。是否可以通过某种简单的方式将这些数据重放到重新启动的管道中,以便像以前一样在流模式下处理所有内容。我听说您可以将发布/订阅重播7天。

1 个答案:

答案 0 :(得分:1)

1)如果更新流式管道,则正在运行的管道将停止从pubsub中提取数据,并在启动新管道之前保存中间窗口状态。这样就不会丢失或重复数据。

2)当前,Dataflow不支持恢复的管道执行。