Question

我正在寻找一个解决方案，我可以在触发dag时确定dag结构，因为我不确定我必须运行的操作员数量

请参阅下面的我计划创建的执行顺序。

           |-- Task B.1 --|                  |-- Task C.1 --|
           |-- Task B.2 --|                  |-- Task C.2 --|
  Task A --|-- Task B.3 --|---> Task  B ---> |-- Task C.3 --|
           |     ....     |                  |     ....     |
           |-- Task B.N --|                  |-- Task C.N --|

我不确定N的价值。

气流是否可行。如果是这样，我该如何做到这一点。

先谢谢

Answer 1

我过去必须做类似的事情，我写了一个DAG，它读取YAML文件，该文件定义了要创建的任务。

我的情况是我从中提取数据的表的数量可以每周更改，而不是每次我需要添加新表时将DAG重新部署到生产我将DAG指向YAML文件，该文件描述提取哪些表。每次出现新表时，我都会使用新表详细信息编辑YAML文件。

我认为如果需要首先运行上游任务然后确定要运行的下游任务的数量（如下所示），那会有点棘手：问题：

Generating dynamic tasks in airflow based on output of an upstream task

气流DAG动态结构

1 个答案: