Question

我最近接手了我公司正在研究的项目的另一部分，并发现了我们的RabbitMQ / Celery设置中的内存泄漏。

我们的系统有2Gb内存，在任何给定时间大约1.8Gb。我们有多个任务可以处理大量数据并将它们添加到我们的数据库中。

当这些任务运行时，它们消耗了相当大的内存，使我们的可用内存迅速下降到16Mb到300Mb之间。问题是，在这些任务完成后，内存不会回来。

我们正在使用：

RabbitMQ v2.7.1
AMQP 0-9-1 / 0-9 / 0-8（得到这条线 RabbitMQ startup_log）
芹菜2.4.6
Django 1.3.1
amqplib 1.0.2
django-celery 2.4.2
kombu 2.1.0
Python 2.6.6
erlang 5.8

我们的服务器正在运行Debian 6.0.4。

我是这个设置的新手，所以如果您需要任何其他信息可以帮助我确定这个问题的来源，请告诉我。

所有任务都有返回值，所有任务都有ignore_result = True，CELERY_IGNORE_RESULT设置为True。

非常感谢你的时间。

我当前的配置文件是：

CELERY_TASK_RESULT_EXPIRES = 30
CELERY_MAX_CACHED_RESULTS = 1
CELERY_RESULT_BACKEND = False
CELERY_IGNORE_RESULT = True
BROKER_HOST = 'localhost'
BROKER_PORT = 5672
BROKER_USER = c.celery.u
BROKER_PASSWORD = c.celery.p
BROKER_VHOST = c.celery.vhost

Answer 1

我几乎可以肯定您正在使用DEBUG = True运行此设置，这会导致内存泄漏。

查看此帖子：Disable Django Debugging for Celery。

如果有帮助，我会发布我的配置。

settings.py

djcelery.setup_loader()
BROKER_HOST = "localhost"
BROKER_PORT = 5672
BROKER_VHOST = "rabbit"
BROKER_USER = "YYYYYY"
BROKER_PASSWORD = "XXXXXXX"

CELERY_IGNORE_RESULT = True
CELERY_DISABLE_RATE_LIMITS = True
CELERY_ACKS_LATE = True
CELERYD_PREFETCH_MULTIPLIER = 1
CELERYBEAT_SCHEDULER = "djcelery.schedulers.DatabaseScheduler"
CELERY_ROUTES = ('FILE_WITH_ROUTES',)

Answer 2

您可能会在librabbitmq中点击this issue。请检查Celery是否使用librabbitmq>=1.0.1。

尝试的简单修复方法是：pip install librabbitmq>=1.0.1。

RabbitMQ / Celery / Django内存泄漏？

2 个答案:

settings.py