从Google云数据流中的CombineFn访问PipelineOptions

Question

我需要在GcsUtil子类中实例化使用CombineFn，看起来我需要将PipelineOptions实例交给GcsUtilFactory。但是我找不到一种方法来检索PipelineOptions类的实例（与DoFn s不同）。

是否有API在运行时检索当前管道的选项？ 将选项保留在字段中似乎不起作用并阻止管道上传到数据流服务。

谢谢！ G

Answer 1

在CombineFn中从GCS读取可能会有问题。例如，您不会获得侧输入给您的任何缓存。

根据您尝试的配置类型，最好的办法是在运行Combine之前使用ParDo / DoFn。

另外，从CombineFn中可以访问PipelineOptions可能是有意义的。我已经记下了这一点，我们来看看。