Apache Beam / Dataflow：初始化每个部署状态的最佳方法

Question

我有一个Beam / Dataflow流管道。每次重新启动/重新启动Beam拓扑时，我都需要将元数据更新为正在处理的元素，以便可以为每个元素标识拓扑版本。例如，假设我可以将拓扑开始时间作为元数据插入，但是想要以一种不需要我将日期作为工作启动参数的方式进行传递的方式来完成。

在这种情况下，有一个statefulDoFn可能会有所帮助，但是这种行为是否有本机支持？

Answer 1

检查DoFn的@Setup和@Teardown批注。