管道在Google DataFlow上完成后运行功能/管道

Question

我想在Google DataFlow上完成Beam管道完成后运行一个函数（或管道）。

目前我已经构建了一个hack来运行该函数，方法是将前一个Pipeline的结果写入localhost:8080

null

...其中func是：

_ = existing_pipeline | "do next task" >> beam.Map(func)

但是有更好的方法吗？

Answer 1

假设您希望该功能在您的计算机上而不是在云中运行，您应该执行以下操作：

result = existing_pipeline.run()
result.wait_until_finish()
# do some work