Apache Beam：在已构建的管道中跳过步骤

Question

有没有办法有条件地跳过已构建的管道中的步骤？或者管道结构是否是控制哪些步骤运行的唯一方法？

Answer 1

通常，管道构造控制管道中的哪些转换将被执行。

但是，您可以想象一个输入多输出ParDo，它将输入PCollection多路复用到输出PCollection之一。然后，通过选择将数据传递到哪个输出，您可以动态控制执行哪些步骤 - 没有任何输入的步骤可能无法执行和/或它们的执行可能无关紧要。

相关功能是“参数化管道”或“模板管道”。这是我们非常感兴趣并且正在积极努力的事情。