芹菜多工人意外的任务执行顺序

时间:2017-05-02 13:30:39

标签: python django celery celerybeat

我经营芹菜:

celery multi start --app=myapp fast_worker 
       slow_worker
       -Q:fast_worker fast-queue      
       -Q:slow_worker slow-queue
       -c:fast_worker 1 -c:slow_worker 1
       --logfile=%n.log --pidfile=%n.pid

celerybeat:

celery beat -A myapp

任务:

@task.periodic_task(run_every=timedelta(seconds=5), ignore_result=True)
def test_log_task_queue():
    import time
    time.sleep(10)
    print "test_log_task_queue"

路由:

CELERY_ROUTES = {
    'myapp.tasks.test_log_task_queue': {
        'queue': 'slow-queue',
        'routing_key': 'slow-queue',
    },
}

我使用rabbitMQ。当我打开rabbitMQ管理面板时,我看到我的任务在slow-queue,但是当我打开日志时,我看到两个工作人员的任务输出。为什么两个工作人员都执行我的任务,即使任务不在工作队列中?

1 个答案:

答案 0 :(得分:0)

看起来celery multi创建了类似共享队列的东西。要解决此问题,我添加了-X选项:

celery multi start --app=myapp fast_worker 
   slow_worker
   -Q:fast_worker fast-queue      
   -Q:slow_worker slow-queue
   -X:fast_worker slow-queue
   -X:slow_worker fast-queue
   -c:fast_worker 1 -c:slow_worker 1
   --logfile=%n.log --pidfile=%n.pid