芹菜任务路线无法按预期工作

Question

我正在练习芹菜，我想将我的任务分配到特定的队列但是它没有按预期工作

我的 __ init __。py

import os
import sys
from celery import Celery

CURRENT_DIR = os.path.dirname(os.path.abspath(__file__))

sys.path.append(CURRENT_DIR)

app = Celery()
app.config_from_object('celery_config')

我的 celery_config.py

amqp = 'amqp://guest:guest@localhost:5672//'
broker_url = amqp
result_backend = amqp

task_routes = ([
    ('import_feed', {'queue': 'queue_import_feed'})
])

我的 tasks.py

from . import app

@app.task(name='import_feed')
def import_feed():
    pass

我如何管理我的工人：

celery -A subscriber1.tasks worker -l info

我的客户__init__.py：

import os
import sys
from celery import Celery

CURRENT_DIR = os.path.dirname(os.path.abspath(__file__))

sys.path.append(CURRENT_DIR)

app = Celery()
app.config_from_object('celery_config')

我的客户 celery_config.py ：

from kombu.common import Broadcast

amqp = 'amqp://guest:guest@localhost:5672//'
BROKER_URL = amqp
CELERY_RESULT_BACKEND = amqp

然后在我客户的shell中我尝试了：

from publisher import app
result = app.send_task('import_feed')

然后我的工作人员完成了任务？！我不希望这样，因为我将其分配给特定队列。我在我的客户端尝试了下面的命令，我的工作人员没有收到任何我希望收到的任务，而不是第一个任务

result = app.send_task('import_feed', queue='queue_import_feed')

似乎我误解了路由部分中的某些内容。但我真正想要的是import_feed任务只有在发送任务时指定了queue_import_feed队列才能运行

Answer 1

您可以更改工作程序处理的默认队列。

app.send_task('import_feed')将任务发送到celery队列。

app.send_task('import_feed', queue='queue_import_feed')将任务发送到queue_import_feed，但您的工作人员只处理celery队列中的任务。

要处理特定队列，请使用-Q开关

celery -A subscriber1.tasks worker -l info -Q 'queue_import_feed'

修改

为了对send_task施加限制，以便工作人员只有在与队列一起发布时才对import_feed任务作出反应，您需要覆盖send_task { {1}}并提供自定义Celery，AMQP设置为default_queue。

reactor.py

None

celery_config.py

from celery.app.amqp import AMQP
from celery import Celery

class MyCelery(Celery):
    def send_task(self, name=None, args=None, kwargs=None, **options):
        if 'queue' in options:
            return super(MyCelery, self).send_task(name, args, kwargs, **options)


class MyAMQP(AMQP):
    default_queue = None

__初始化__。PY

from kombu import Exchange, Queue

...

task_exchange = Exchange('default', type='direct')
task_create_missing_queues = False

task_queues = [
    Queue('feed_queue', task_exchange, routing_key='feeds'),
]

task_routes = {
    'import_feed': {'queue': 'feed_queue', 'routing_key': 'feeds'}
}