何时将Airflow的执行程序从LocalExecutor升级到CeleryExecutor？

Question

我目前正在使用LocalExecutor运行多个Airflow DAG并且它一直正常运行。我的服务器有足够的资源。我即将为一个更大的项目添加一个新的DAG，我正在考虑从LocalExecutor切换到CeleryExecutor。

我的问题是，有什么迹象表明我应该切换到CeleryExecutor？我是否需要了解具体的性能指标，以便了解何时需要开始扩展？

Answer 1

如果要运行少量并发任务，LocalExecutor就足够了，因此根据您的调度需求，这些任务可以运行单个服务器。当您认为需要跨多个服务器分发作业时，您应该考虑转移到CeleryExecutor。