Apache Beam Fault Tolerance如何在全局Windows中工作？

Question

我正在使用Beam Python构建管道。我有来自PubSub的带有userId和buttonId的事件流。我有一个全局窗口，该窗口维护在所有用户之间单击按钮的次数。

如果在一段时间后服务器重新启动运行Direct Runner / Flink Runner，是否将全局Windows状态还原到管道？

Beam中的容错功能如何工作？

如何跟踪到PubSub的偏移量/检查点？

Beam documentation指出：

  

状态的存储和容错能力：由于状态是每个键和窗口的状态，因此，您期望同时处理的键和窗口越多，您将获得的存储越多。”

但是，我找不到关于此的更多信息。

Answer 1

对于您的问题的第一部分，Beam通过流失来处理流服务中的异常，这里https://cloud.google.com/dataflow/docs/guides/stopping-a-pipeline

尽管不确定是否可以回答有关偏移量/检查点的问题。