在气流中,让其他人注意到子标记中的任务与主要dag中的任务之间的延迟时间更长

时间:2018-03-18 01:37:22

标签: delay scheduler airflow

我正在运行气流1.9.0。我把一个dag放在一起,所有任务只需要1秒的睡眠时间。我在主dag中运行了20个任务,在子目录中运行了20个,然后在子子目录中运行了20个。

主dag中的任务结束与下一个任务的开始之间有2-3秒的延迟。对于sub-dag中的任务,甚至在sub-subdag中,在一个任务结束和下一个任务开始之间有7-8秒的延迟。

我观察到CeleryExecutor和LocalExecutor的额外延迟。

我看到气流认为这些延误是合理的,但我真的好奇为什么这个潜艇存在差异。

0 个答案:

没有答案