使用Airflow中的`ds`动态生成任务

Question

我在数据库中有多个表，并根据相应列是否比ds更新来作为任务添加到DAG中。

                            1
                            2
validate_sources ->  __multiple_sources__  -> aggregations -> validate
                            3
                            4
                            N

也就是说，我希望这些源可以并行运行（每个任务一个），这没问题，如果我只想在ds之后使用一个源，那可以工作，但是{ {1}}和动态生成我不知道该怎么做，因为ds当时不可用。

Answer 1

对于每个源始终拥有aggregations和validate任务也许会更容易，但是如果未更新它们，则只需短路下游任务，以使它们不运行。