参数化或循环通过气流列表

时间:2019-05-20 21:33:35

标签: airflow

我有一个列表清单,可以说

import itertools
test_list = list(itertools.permutations([1, 2, 3]))

我想为每个子列表组创建一个 气流中的任务,如:

something_cool = PythonOperator(
  task_id='cool', 
  python_callable=do_something_cool(sub_list), 
  dag=dag)

做到这一点的最好方法是编写一个循环吗?就我而言,主列表很长,要写出每个运算符将非常困难。

有没有办法向操作员发送清单并将其参数化?

1 个答案:

答案 0 :(得分:0)

迭代循环在定义任务时可以很好地工作。只是将整个def保留在里面..我还没有尝试处理依赖关系..这可能是不可能的。

dep也可以循环设置。哇,我喜欢气流。

请参阅https://www.astronomer.io/guides/managing-dependencies/