有没有一种方法可以动态修改Airflow中芹菜工人的并发性？

Question

我正在用Airflow安排任务，执行者是芹菜。我的问题是：

有些任务会占用大量CPU时间，有些则不会，是否有一种方法可以根据服务器的负载动态修改celery worker的并发性？ 例如，如果现在任务花费大量CPU且服务器负载沉重，则celery worker的并发性应动态缩小，否则并发性应增加。

Answer 1

我还没有将Airflow与CeleryExecutor一起使用，

但是通过将LocalExecutor添加到pools和modifying those pools (slots count) programmatically可以达到（至少对于task足够接近的效果。

我可以确认，动态修改池插槽（当Dag运行时）可以正常工作。

（不确定是否有风险/反模式）