工人在Django芹菜中一次收到1000个任务后死亡

Question

我正在运行一个生成近10000个对象的脚本。在保存每个对象时，将调用Celery任务，因此在短短1-3分钟内，Celery将接收1000个任务并且其工作人员正在死亡（状态仍显示为RUNNING）。

所以我需要一次又一次地重启。因为我多次重启，许多Python进程（运行Celery）消耗了大量内存。

Answer 1

如果我理解正确，你几周前就会遇到同样的问题。每隔一段时间，似乎我们的芹菜工人只是冻结（我们发现它实际上正在接收任务但没有执行任何工作）并且在重新启动工作人员之后它会急于完成任务直到它再次冻结。

通过执行以下pip安装解决了该问题。

pip install https://github.com/celery/billiard/zipball/2.7
pip install https://github.com/celery/celery/zipball/asynwrite

我在芹菜项目的GitHub问题跟踪器页面上找到了解决方案，但我找不到确切的票证。 Heres a link to a similar issue though (that uses this as a solution).