具有时间限制和触发的Apache Airflow调度

Question

我使用芹菜Executor的气流。现在，我计划为任务开发用户交互，以决定在DAG中使用BranchOperator选择分支。它通过运行连续循环来检查数据库中的值。但我觉得这不是一种好方法。有没有替代方法呢？

我想等到特定时间的这种互动，否则我想停下来。气流中是否可以这样做？如果可能，那么是否有可能动态地改变这个时间限制？

提前谢谢。

Answer 1

你不应该为此使用BranchOperator。如果您想根据数据库中的某个值继续进行dag，则应使用传感器。在气流中有一些现成的传感器，你也可以看看其中的一些来创造你自己的传感器。传感器基本上轮询某个标准并在可配置的一段时间后超时。从你的问题看来，这正是你所需要的。