在短时间内从外部触发多个DAG时,Airflow Server崩溃

时间:2019-12-03 22:02:32

标签: python airflow

如果有人遇到我遇到的问题,我真的很好奇。显然,每次我尝试在短时间内(通过http请求)在外部触发多个DAG时,都会使Web服务器超时。这正常吗?

我的每个DAG实例都被docker化。换句话说,每个DAG实例都在docker映像上运行。我公司主要将这种方法用于端到端ML。我的实例被docker化的事实应该没关系吗?

我正在使用公共github气流图像运行docker设置。也许我需要在airflow.cfg上加上这个星期。我假设这是问题所在。我已在->“ 3.您是否在运算符之外发出请求?”下引用了本文以获得帮助-> common airflow problems

0 个答案:

没有答案