气流使用DAG中逻辑的执行日期

时间:2020-05-20 03:47:41

标签: airflow airflow-scheduler

是否可以在操作员之外的DAG中访问执行日期?我需要将执行日期用于条件逻辑吗?如果执行日期是每月的1号,那么我需要用某些值构建字典,否则,如果不是日期的1号,则需要用其他值构建字典。字典是SnowflakeOperator的参数。

我在阅读Astronomer's website上的指南时提出了这个主意。

default_args = {
    "owner": "<my_name>",
    "depends_on_past": False,
    "start_date": datetime(2020, 3, 2),
    "email": ['<my_email>'],
    "email_on_failure": True,   
    "retries": 0
}


dag = DAG(
    dag_id="ETL Dag",
    default_args=default_args,
    schedule_interval="0 18 * * *",
    catchup=True,
    max_active_runs=1
)

with dag:
    ymd = '{{ ds_nodash }}'
    # Use ymd to determine if 1st or not
    ...

0 个答案:

没有答案