Python操作员之间的气流传递数据帧

时间:2019-10-27 19:37:51

标签: python airflow

我尝试寻找此答案,但找不到任何对我要执行的操作有意义的事情。

我正在尝试创建一个DAG,该DAG将从FTP抓取一个文件并返回一个数据帧,清理该数据帧,然后导入到SQL。因此最终看起来像:

connect_to_ftp >> get_file >> clean_dataframe >> import_to_sql

因此,如果我想在一个运算符中获取数据帧,然后将其传递给另一个运算符,我该怎么做?我应该使用xcom变量,还是应该在代码中创建全局变量?

1 个答案:

答案 0 :(得分:0)

所以我读了文档: https://airflow.apache.org/concepts.html#operators

运算符应该是原子的,并且应该很少相互传递数据。所以我想我在想错了吗?