Airflow DAG中的动态任务生成

时间:2017-03-31 15:48:50

标签: python airflow

我想使用Airflow生成客户端报告,我希望有一个DAG循环遍历所有客户端并启动任务来生成他们的报告。客户列表由DAG中的第一个任务收集,无法进行硬编码。

基本上我有一个任务,它使用python运算符中的数据库钩子来生成列表。然后对于列表中的每个项目,我想使用python运算符执行任务,该项目作为参数传递给python函数。我可以使用某种模式来实现这个目标吗?

1 个答案:

答案 0 :(得分:0)

Trigger_dag概念

让在python运算符中使用数据库钩子的任务生成列表“是控制器dag 中的任务,并将列表中的每个项目传递给 trigger_dag 在params部分。

您可以在气流安装的示例文件夹中找到参考

祝你好运!