标签: delay scheduler airflow
我正在运行气流1.9.0。我把一个dag放在一起,所有任务只需要1秒的睡眠时间。我在主dag中运行了20个任务,在子目录中运行了20个,然后在子子目录中运行了20个。
主dag中的任务结束与下一个任务的开始之间有2-3秒的延迟。对于sub-dag中的任务,甚至在sub-subdag中,在一个任务结束和下一个任务开始之间有7-8秒的延迟。
我观察到CeleryExecutor和LocalExecutor的额外延迟。
我看到气流认为这些延误是合理的,但我真的好奇为什么这个潜艇存在差异。