Django芹菜任务数限制问题

Question

我有问题让芹菜工人多次并行执行相同的任务。

我跑了3名工人，并为所有工人设置了--concurrency为2。

但它只对所有3名工人执行3项任务。

我希望能够管理大约10名工人。

celery -A my_app worker -l info  -c 2 -n worker1
celery -A my_app worker -l info  -c 2 -n worker2
celery -A my_app worker -l info  -c 2 -n worker3

请帮助我，我是否可以一次运行3个以上的任务。

Answer 1

我使用 max-tasks-per-child 参数解决了这个问题。

这是我的解决方案。

celery -A my_app worker -l info -c 10 --max-tasks-per-child 10 -n worker1

运行此功能后，它可以并行执行10个相同的任务。

希望这有用。