气流重复一任务

时间:2019-12-09 05:39:06

标签: airflow

我刚刚开始使用apap气流。这是一个很棒的工具,但是我不知道如何做这样的工作: 我需要像这样重复执行任务,修改频道字并构建代码,然后再次执行: set_channel_a >> build_src >> set_channel_b >> build_src

但是气流会产生一个错误,那就是存在循环并且无法循环。

我必须更改为set_channel_a >> build_src_a >> set_channel_b >> build_src_b

,但是build_src_a和build_src_b完全相同。我不喜欢重复的代码。

处理这种情况的正确方法是什么?

1 个答案:

答案 0 :(得分:0)

气流基于DAG(有向无环图),因此您的代码中不能包含循环或循环。

airflow.exceptions.AirflowException: Cycle detected in DAG. Faulty task