标签: python airflow
我们大约有20个任务,每个任务约有6个任务。执行期间,每个任务之间的气流间隔为20秒(结束和开始新任务之间)
我们的批处理将在2小时内完成。仅其中一项气流调度就需要40分钟(20 * 6 * 20)。更改了以下参数,但没有任何改善。
job_heartbeat_sec = 1 scheduler_heartbeat_sec = 1 max_threads = 4
我发现postgres db没有任何性能问题。
有什么方法可以减少时间安排?
谢谢