我想对在Dataflow和普通环境中使用的库使用一些配置。
代码是否有办法检查它是否在Dataflow上运行?例如,我看不到环境变量。
Google Dataflow non-python dependencies - separate setup.py?
的准后续行动答案 0 :(得分:0)
一种选择是使用PipelineOptions,其中包含管道运行器信息。如梁文档中所述:“当您在所选择的运行器上运行管道时,您的代码将可以使用PipelineOptions的副本。例如,您可以从DoFn的上下文中读取PipelineOptions。”
有关PipelineOptions的更多信息:https://beam.apache.org/documentation/programming-guide/#configuring-pipeline-options
答案 1 :(得分:0)
这不是一个好的答案,但它可能是我们现在能做的最好的答案:
if 'harness' in os.environ.get('HOSTNAME', ''):