我有一个包含多个celery beat任务的Django项目,当我有多个带有各个队列的celery beat任务时,我有一个问题,因此我有可能一次运行所有这些,什么是最佳实践?这些?
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
from celery import Celery
from celery.schedules import crontab
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'projectDemon.settings')
app = Celery('projectDemon')
app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks()
@app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):
sender.add_periodic_task(
crontab(minute=30, hour='7'),
task1.s('Checking task1 !'),
queue= 'task1',
options={
'queue': 'task1',
'routing_key': 'task1'}
)
sender.add_periodic_task(
crontab(minute=00, hour='6'),
task2.s('Checking task2 !'),
queue= 'task2',
options={
'queue': 'task2',
'routing_key': 'task2'}
)
sender.add_periodic_task(
crontab(
minute='*/1', # run every minute
),
task3.s('Checking task3 !'),
queue= 'task3',
options={
'queue': 'task3',
'routing_key': 'task3'}
)
@app.task
def task1(arg):
print(arg)
@app.task
def task2(arg):
print(arg)
@app.task
def task3(arg):
print(arg)
答案 0 :(得分:0)
我处理此问题的方法是定义task_routes,在此定义将要使用特定队列的每个任务。我有某些任务总是要使用特定的队列,无论是从应用程序整体触发还是通过芹菜节拍触发。 (请注意,您未在任务路由中定义的任何任务都将使用默认队列)。
从那里,我仅将芹菜节拍定义为调度程序以调用特定任务(无需将队列作为变量传递)。
此解决方案没有任何问题,但是,如果您解释您的具体问题,我可能会更好地提供帮助。