了解芹菜任务负载平衡

时间:2018-01-11 23:24:54

标签: python celery

我目前正在使用芹菜来执行我的后台任务。

让我们说我想每周运行这些后台任务。

在一个工人下面抛出20个任务是个好主意吗?

每项任务至少会产生800个网络请求。

在芹菜文档中它说:

A single Celery process can process millions of tasks a minute, with sub-millisecond round-trip latency (using RabbitMQ, librabbitmq, and optimized settings).

所以基本上;一个任务可以是一个用户;我需要运行至少50个不同的任务;他们每人约有800个网页请求。我想;也许我会为每项任务需要新员工;但是回顾一下这个文件似乎并不是每个任务都需要多个工人;相反,我可以立刻扔掉所有;并且会很好。我对此并不感到自信;在我的情况下我该怎么做;如果我每个任务发出800个网络请求;我需要多个工人吗?或者我应该只在一个工人下面做所有事情。

0 个答案:

没有答案