如何在每个任务都有单独队列的情况下运行芹菜节拍?

时间:2018-09-28 11:24:34

标签: python django celery celerybeat

我有一个包含多个celery beat任务的Django项目,当我有多个带有各个队列的celery beat任务时,我有一个问题,因此我有可能一次运行所有这些,什么是最佳实践?这些?

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
from celery import Celery
from celery.schedules import crontab


os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'projectDemon.settings')
app = Celery('projectDemon')
app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks()

@app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):

    sender.add_periodic_task(
        crontab(minute=30, hour='7'),
        task1.s('Checking task1 !'),
                    queue= 'task1',
                    options={
                        'queue': 'task1',
                        'routing_key': 'task1'}
    )
    sender.add_periodic_task(
        crontab(minute=00, hour='6'),
        task2.s('Checking task2 !'),
                queue= 'task2',
                options={
                    'queue': 'task2',
                    'routing_key': 'task2'}
    )
    sender.add_periodic_task(
        crontab(
        minute='*/1',  # run every minute
    ),
        task3.s('Checking task3 !'),
            queue= 'task3',
            options={
                'queue': 'task3',
                'routing_key': 'task3'}

        )


@app.task
def task1(arg):
    print(arg)



@app.task
def task2(arg):
    print(arg)



@app.task
def task3(arg):
    print(arg)

1 个答案:

答案 0 :(得分:0)

我处理此问题的方法是定义task_routes,在此定义将要使用特定队列的每个任务。我有某些任务总是要使用特定的队列,无论是从应用程序整体触发还是通过芹菜节拍触发。 (请注意,您未在任务路由中定义的任何任务都将使用默认队列)。

从那里,我仅将芹菜节拍定义为调度程序以调用特定任务(无需将队列作为变量传递)。

此解决方案没有任何问题,但是,如果您解释您的具体问题,我可能会更好地提供帮助。