使用XCOM推拉气流子悬挂装置

时间:2019-09-23 05:45:39

标签: python airflow apache-airflow-xcom

我对Airflow非常陌生,我有两个子代,即SUBDAG_A和SUBDAG_B。

SUBDAG_A正在使用函数function_A,该函数的输出为日期,即min_date和max_date。我需要在SUBDAG_B中使用该日期,下面是subdags

//SUBDAG_A
t_dates_processed = SubDagOperator(
    subdag=date_range(
        dag_id,
        "date_range",
        default_args,
        dag.schedule_interval,
        OUTPUT_PATH //path of csv files to extratc min and max date 
    ),
    task_id="date_range",
    pool="spark_job_pool",
    default_args=default_args,
    dag=dag)

//SUBDAG_B
t__csv_parquet = SubDagOperator(
    subdag=csv_parquet(
        dag_id,
        "csv_parquet",
        default_args,
        dag.schedule_interval,
        OUTPUT_PATH,
        POSTGRES_URL,
        POSTGRES_USERNAME,
        POSTGRES_PASSWORD,
        PARQUET_PATH,
        '20190101', //MIN_DATE  (THIS IS COMING FROM SUBDAG_A)
        '20130106   // MAX_DATE (THIS IS COMING FROM SUBDAG_A)
    ),
    task_id="csv_parquet",
    pool="spark_job_pool",
    default_args=default_args,
    dag=dag)

我不确定,如何从SUBDAG_A执行xcom_pull并将其推入SUBDAG_B

有人可以帮我吗

0 个答案:

没有答案