在停止管道并启动新管道之后，Beam / Dataflow是否可以保持状态？

Question

我试图了解数据流/束如何管理状态。例如，当使用kafka流时，可以停止并重新启动您的应用程序并继续上一个状态。

Beam / Dataflow是否有类似的可能性？

Answer 1

虽然您今天无法快照Dataflow的状态，但是可以快照Dataflow从中获取其数据并随后重新启动的Pub / Sub订阅。查看Cloud Pub / Sub Seek和重播功能。可以在here上找到有关集成的更多信息。