在Dataflow工作程序上执行时更改管道选项会发生什么？

Question

如果在Dataflow worker上执行时更改管道选项会发生什么？

PipelineOptions的公共文档是：https://cloud.google.com/dataflow/java-sdk/JavaDoc/com/google/cloud/dataflow/sdk/options/PipelineOptions

Answer 1

PipelineOptions可以安全地从多个线程访问，并且每个Dataflow工作者都是全局的。您应该只从PipelineOptions获取值，而不是更新PipelineOptions或改变Dataflow Worker上PipelineOptions中存储的任何值。这意味着放置在PipelineOptions中的任何对象必须是线程安全的，因为它可以同时从多个线程访问。请注意，Java中有许多类型，例如SimpleDateFormat，它们似乎是线程安全的但不是。