芹菜不使用所有并发插槽

时间:2014-04-07 01:43:14

标签: python celery distributed-computing

我有一个由8核处理器组成的Celery集群。每台计算机都有一个工作程序,其并发因子设置为8(-c8)。

我经常看到有很多保留任务的节点,但只有一两个同时运行。我的任务通常是长时间运行的,有很多计算和I / O.

关于为什么会发生这种情况的任何想法,以及我可以做些什么来增加同时运行的任务数量?芹菜根据系统负载调节活动任务的数量吗?我仔细查看了文档,但结果很短。

1 个答案:

答案 0 :(得分:0)

感谢banana,我想我找到了答案。

我的一些任务是产生子进程,Celery计算它的并发性。