代码如何知道它在Google Dataflow上运行?

时间:2017-11-07 16:09:15

标签: google-cloud-dataflow

我想对在Dataflow和普通环境中使用的库使用一些配置。

代码是否有办法检查它是否在Dataflow上运行?例如,我看不到环境变量。

Google Dataflow non-python dependencies - separate setup.py?

的准后续行动

2 个答案:

答案 0 :(得分:0)

一种选择是使用PipelineOptions,其中包含管道运行器信息。如梁文档中所述:“当您在所选择的运行器上运行管道时,您的代码将可以使用PipelineOptions的副本。例如,您可以从DoFn的上下文中读取PipelineOptions。”

有关PipelineOptions的更多信息:https://beam.apache.org/documentation/programming-guide/#configuring-pipeline-options

答案 1 :(得分:0)

这不是一个好的答案,但它可能是我们现在能做的最好的答案:

if 'harness' in os.environ.get('HOSTNAME', ''):