我已将一个独立的批处理作业转换为使用芹菜来调度要完成的工作。我正在使用RabbitMQ。一切都在一台机器上运行,没有其他进程正在使用RabbitMQ实例。我的脚本只创建了一堆由工人处理的任务。
是否有一种简单的方法可以衡量从脚本开始到所有任务完成的时间?我知道使用消息队列时设计有点复杂。但我不想在生产中这样做,只是为了测试和获得性能评估。
答案 0 :(得分:23)
您可以使用celery signals,在执行任务之前和之后将调用已注册的函数,测量已用时间是微不足道的:
from time import time
from celery.signals import task_prerun, task_postrun
d = {}
@task_prerun.connect
def task_prerun_handler(signal, sender, task_id, task, args, kwargs, **extras):
d[task_id] = time()
@task_postrun.connect
def task_postrun_handler(signal, sender, task_id, task, args, kwargs, retval, state, **extras):
try:
cost = time() - d.pop(task_id)
except KeyError:
cost = -1
print task.__name__, cost
答案 1 :(得分:6)
您可以通过在发送任务时传递的末尾添加假任务来使用chord,这将返回当前时间与执行时间之间的差异。< / p>
import celery
import datetime
from celery import chord
@celery.task
def dummy_task(res=None, start_time=None):
print datetime.datetime.now() - start_time
def send_my_task():
chord(my_task.s(), dummy_task.s(start_time=datetime.datetime.now()).delay()
send_my_task
发送您想要分析的任务以及dummy_task
,该{{1}}将打印所花费的时间(或多或少)。如果您想要更准确的数字,我建议您将start_time直接传递给您的任务,并使用signals。