同步芹菜队列

时间:2018-04-09 16:18:15

标签: python django celery

我有一个应用程序,每个用户都可以创建任务,用户创建的每个任务都会添加到特定用户的动态队列中。因此,User1的所有任务都会添加到User1_queue,User2添加到User2_queue等。

我需要做的是当User1将Task1,Task2和Task3添加到他们的队列中时,执行Task1并且Celery在执行Task2之前等待它完成,依此类推。

让它们从多个队列中彼此并排执行是很好的,因此来自User1_queue的Task1和来自User2_queue的Task1。它只是限制Celery按照它们添加的顺序同步执行队列中的任务。

是否可以让Celery在每个队列中具有1的并发性,以便任务不会在同一队列中彼此并行执行?

如果它可以帮助任何人访问这个问题,我通过设置多个并发为1的工作者来解决我的问题,每个工作在一个唯一的队列上。然后我在我的Django应用程序中使用了一些逻辑来为活动用户存储每个会话的队列名称。

在线下我会添加额外的逻辑来选择最不忙的'工作者,并尝试在活跃的工作者之间均匀地传播用户。但是现在它运作得很好。

Flower,Celery的监控工具,在尝试解决这个问题时也是一个巨大的帮助。

1 个答案:

答案 0 :(得分:2)

您可以为-Q

为每个工作人员选择一个--concurrency=1 option个队列
 celery -A proj worker --concurrency=1 -n user1@%h -Q User1_queue

@JamesFoley虽然以下可以在芹菜方面实施,但现在不是(https://github.com/celery/celery/issues/1599

一些想法:

  • 动态生成/控制芹菜工人
  • 单一节拍任务,决定可以生成哪些任务运行(锁定/互斥或数据库表监控任务)