是否可以在操作员之外的DAG中访问执行日期?我需要将执行日期用于条件逻辑吗?如果执行日期是每月的1号,那么我需要用某些值构建字典,否则,如果不是日期的1号,则需要用其他值构建字典。字典是SnowflakeOperator的参数。
我在阅读Astronomer's website上的指南时提出了这个主意。
default_args = {
"owner": "<my_name>",
"depends_on_past": False,
"start_date": datetime(2020, 3, 2),
"email": ['<my_email>'],
"email_on_failure": True,
"retries": 0
}
dag = DAG(
dag_id="ETL Dag",
default_args=default_args,
schedule_interval="0 18 * * *",
catchup=True,
max_active_runs=1
)
with dag:
ymd = '{{ ds_nodash }}'
# Use ymd to determine if 1st or not
...