Question

如何限制可以同时运行的特定Celery任务的实例数？

我有一个处理大文件的任务。我遇到了一个问题，用户可能会启动多个任务，导致服务器在尝试一次处理太多文件时耗尽CPU和内存。我想确保在任何给定时间只运行这种类型任务的N个实例，并且其他任务将在调度程序中排队等待，直到其他任务完成。

我看到任务装饰器中有rate_limit个选项，但我不认为这样做符合我的要求。如果我正确理解文档，这只会限制任务的启动速度，但不会限制运行任务的总数，因此这会使我的服务器崩溃得更慢......但它仍然会崩溃。

Answer 1

您可以做的是将这些任务推送到特定队列，并让X个工作人员处理它们。将两个工作人员放在一个包含100个项目的队列中将确保只有两个任务同时处理。

Answer 2

您必须设置额外的队列并为其设置所需的并发级别。来自Routing Tasks：

# Old config style    
CELERY_ROUTES = {
                'app.tasks.limited_task': {'queue': 'limited_queue'}
            }

或

from kombu import Exchange, Queue
celery.conf.task_queues = (
        Queue('default', default_exchange, routing_key='default'),
        Queue('limited_queue', default_exchange, routing_key='limited_queue')
    )

并启动额外的工作程序，只服务有限的队列：

$ celery -A celery_app worker -Q limited_queue --loglevel=info -c 1 -n limited_queue

然后，您可以使用Flower检查所有运行是否正常或检查命令：

$ celery -A celery_app worker inspect --help

Answer 3

我不确定您是否可以在Celery中执行此操作，您可以执行的操作是检查当请求到达时当前正在运行的该名称的任务数量，如果超过最大值，则返回错误或添加定期检查的机制如果有任务的开放槽并运行它（如果你添加这样的机制，你不需要仔细检查，只需在每个请求添加到它的队列。

要检查正在运行的任务，可以使用inspect命令。

简而言之：

app = Celery(...)
i = app.control.inspect()
i.active()

如何按名称限制运行Celery任务的最大数量

3 个答案: