无论如何在数据流管道中共享有状态变量？

Question

我正在用python制作数据流管道 我想在管道转换和工作节点之间共享全局变量，如全局变量（跨多个工作者）。
有没有办法支持这个？ 提前谢谢

Answer 1

有状态处理可能用于在特定节点的工作者之间共享状态（虽然不能在变换之间共享）： https://beam.apache.org/blog/2017/02/13/stateful-processing.html