我尝试寻找此答案,但找不到任何对我要执行的操作有意义的事情。
我正在尝试创建一个DAG,该DAG将从FTP抓取一个文件并返回一个数据帧,清理该数据帧,然后导入到SQL。因此最终看起来像:
connect_to_ftp >> get_file >> clean_dataframe >> import_to_sql
因此,如果我想在一个运算符中获取数据帧,然后将其传递给另一个运算符,我该怎么做?我应该使用xcom变量,还是应该在代码中创建全局变量?
答案 0 :(得分:0)
所以我读了文档: https://airflow.apache.org/concepts.html#operators
运算符应该是原子的,并且应该很少相互传递数据。所以我想我在想错了吗?