1)我编写了一个管道,该管道具有输入pub / sub流。我想使用--update或--jobName选项对其进行修改。在pub / sub和整个管道中的数据发生了什么?
2)由于某些原因,我必须关闭管道:a)几个小时或b)几天。是否可以通过某种简单的方式将这些数据重放到重新启动的管道中,以便像以前一样在流模式下处理所有内容。我听说您可以将发布/订阅重播7天。
答案 0 :(得分:1)
1)如果更新流式管道,则正在运行的管道将停止从pubsub中提取数据,并在启动新管道之前保存中间窗口状态。这样就不会丢失或重复数据。
2)当前,Dataflow不支持恢复的管道执行。