使用气流任务环境变量是否安全?

时间:2019-10-21 21:06:17

标签: airflow

我想利用dag_id而不必提供上下文。这是一个可以使用dag_id的示例:

import os
# ... other imports ...

dag = DAG(
    dag_id="demo",
    default_args=default_args,
    schedule_interval="0 0 * * *",
)

def print_env_var():
    print(os.environ["AIRFLOW_CTX_DAG_ID"])

print_context = PythonOperator(
    task_id="print_env",
    python_callable=print_env_var,
    dag=dag,
)

我想知道的是-多个DAG同时运行时,'AIRFLOW_CTX_DAG_ID'是否会不断被覆盖吗?我认为使用它不会成为犹太洁食。也许就DAG在其独立的外壳中运行之类而言,我缺少一个核心概念?在这种情况下,我想利用env变量。我搜索了文档的核心概念,并进行了一些搜索,找不到答案或设置这些env变量的原因。

感谢您的想法!

0 个答案:

没有答案