Question

我是Airflow的新手，正在练习一些，例如，我有一个读取文件（excel）并将转换后的文件返回到DataFrame的函数。我的第二个功能是接收该文件并删除空值，然后再次返回不包含空值的DF。因此，我有几个功能。

我的问题是我不知道如何在PythonOperator中对这些函数进行参数化，以使其从另一个函数接收值

def read_file():
  df = pd.read_excel('EXCEL.xlsx')
  return df

def remove_NULL(df):
  df.dropna(inplace = True)
  return df

.......

with DAG('Example', start_date=datetime(AAAA, MM, DD), schedule_interval='@daily', catchup=False) as dag:

  step1 = PythonOperator(task_id = 'read', python_callable = read_file)

  step2 = PythonOperator(task_id = 'drop', python_callable = remove_NULL)


  step1 >> step2

第一步正常，第二步不是因为我不知道如何调用返回的值

Answer 1

请参阅下面的链接以从另一个函数接收值

https://github.com/apache/airflow/blob/master/airflow/example_dags/example_xcom.py

如何在PythonOperator Airflow中调用返回值？

1 个答案: