任务执行之间的气流间隔时间更长

时间:2019-10-17 14:40:59

标签: python airflow

我们大约有20个任务,每个任务约有6个任务。执行期间,每个任务之间的气流间隔为20秒(结束和开始新任务之间)

我们的批处理将在2小时内完成。仅其中一项气流调度就需要40分钟(20 * 6 * 20)。更改了以下参数,但没有任何改善。

job_heartbeat_sec = 1 
scheduler_heartbeat_sec = 1
max_threads = 4

我发现postgres db没有任何性能问题。

有什么方法可以减少时间安排?

谢谢

0 个答案:

没有答案