多个队列中的芹菜任务无法启动

时间:2019-10-02 19:45:21

标签: django redis celery django-celery django-redis

我在celery和redis中使用django来处理异步任务。 我定义了三个任务,这些任务应该在您自己的队列中运行。

我的项目结构如下:

django-project
   |- api
      |- task.py
      |- view.py
   |- django-project
      |- settings.py
      |- celery.py
      |- __init__.py

我在api应用中task.py中定义的任务:

@shared_task
def manually_task(website_id):
    print("manually_task");
    website = Website.objects.get(pk=website_id)
    x = Proxy(website, "49152")
    x.startproxy()
    x = None


@periodic_task(run_every=(crontab(hour=19, minute=15)), ignore_result=True)
def periodically_task():
    websites = Website.objects.all()

    for website in websites:
        x = Proxy(website, "49153")
        x.startproxy()
        x = None


@shared_task
def firsttime_task(website_id):
    website = Website.objects.get(pk=website_id)
    x = Proxy(website, "49154")
    x.startproxy()
    x = None

现在这是我的 init .py

__all__ = ('celery_app',)

以及settings.py中的芹菜设置:

CELERY_BROKER_URL = 'redis://localhost:6379'
CELERY_RESULT_BACKEND = 'redis://localhost:6379'
CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TASK_SERIALIZER = 'json'
CELERY_TIMEZONE = 'Europe/Berlin'
CELERY_DEFAULT_QUEUE = 'red'
CELERY_TASK_QUEUES = (
    Queue('red', Exchange('red'), routing_key='red'),
)
CELERY_ROUTES = {
    'api.tasks.manually_task': {'queue': 'red'},
}

我的celery.py看起来像这样:

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'django-project.settings')

app = Celery('django-project')

app.config_from_object('django.conf:settings', namespace='CELERY')

app.autodiscover_tasks()

这是我的设置。现在,我开始所有需要的东西(终端中的每一行):

redis-server
celery -A django-project worker -Q red
python3 manage.py runserver 0.0.0.0:8000

一切顺利开始。在视图中,我这样调用任务: manually_task.delay(webseite.pk)

但是在工人中什么也没做。 如果我在CELERY_TASK_QUEUES中没有CELERY_DEFAULT_QUEUECELERY_ROUTESsettings.py设置的情况下尝试此操作,并使用celery -A django-project worker正常启动工作程序,则效果很好。 我做错了什么?

1 个答案:

答案 0 :(得分:1)

manually_task.delay(webseite.pk)会将任务发送到默认队列。由于您的工作程序已订阅red队列,因此我假设没有工作程序已订阅默认队列,因此该任务不会得到执行。

请尝试以下操作:manually_task.apply_async(webseite.pk, queue="red")