我对Airflow非常陌生,我有两个子代,即SUBDAG_A和SUBDAG_B。
SUBDAG_A正在使用函数function_A,该函数的输出为日期,即min_date和max_date。我需要在SUBDAG_B中使用该日期,下面是subdags
//SUBDAG_A
t_dates_processed = SubDagOperator(
subdag=date_range(
dag_id,
"date_range",
default_args,
dag.schedule_interval,
OUTPUT_PATH //path of csv files to extratc min and max date
),
task_id="date_range",
pool="spark_job_pool",
default_args=default_args,
dag=dag)
//SUBDAG_B
t__csv_parquet = SubDagOperator(
subdag=csv_parquet(
dag_id,
"csv_parquet",
default_args,
dag.schedule_interval,
OUTPUT_PATH,
POSTGRES_URL,
POSTGRES_USERNAME,
POSTGRES_PASSWORD,
PARQUET_PATH,
'20190101', //MIN_DATE (THIS IS COMING FROM SUBDAG_A)
'20130106 // MAX_DATE (THIS IS COMING FROM SUBDAG_A)
),
task_id="csv_parquet",
pool="spark_job_pool",
default_args=default_args,
dag=dag)
我不确定,如何从SUBDAG_A执行xcom_pull并将其推入SUBDAG_B
有人可以帮我吗