信令正常关闭到管道

Question

我正在使用光束2.3.0。我花了两天时间研究如何使用DirectRunner优雅地关闭pipline。 将blockOnRun设置为false并调用cancel只会导致管道崩溃，并且可能会丢失数据。我想知道在像数据流运行器那样杀死它之前，是否可以先排空管道。

Answer 1

此功能在Beam模型的级别上尚不存在。实现这种功能的唯一运行者是Dataflow的Drain功能。有一个proposal正在讨论如何使其成为一般的Beam API。