气流:DAGS数量的实际限制

时间:2018-09-13 01:03:55

标签: airflow

气流系统中DAGS的实际限制是多少?

创建了数百个DAGS之后,我们看到了严重的延迟。

有人在运行1000个DAGS吗?

1 个答案:

答案 0 :(得分:0)

这取决于您如何运行气流以及提供多少资源。如果您有大量任务,则可以在Celery,Master和Worker具有高内存和vCore的分布式模式下运行Airflow。