可以使用气流来执行永无止境的任务吗？

Question

我们可以通过将任务/ dag超时设置为None并手动触发其运行来使用气流dag来定义永无止境的作业（即具有无条件循环以消耗流数据的任务）吗？让气流监测器永无止境的任务会导致问题吗？ 感谢

Answer 1

通过Airflow运行这个有点奇怪，但是我不认为这是一个问题。请注意，如果重新启动运行作业的工作人员（假设是CeleryExecutor），您将中断该任务，如果未设置retries，则需要再次手动启动该任务。另外，请确保DAG设置execution_timeout=None（默认值）。

Answer 2

您可以使用一个传感器来监控数据是否存在＆＃34;然后触发一个dag进行一些处理。这是你想要的吗？请告诉我。