你如何对Celery任务进行单元测试?

时间:2012-08-22 17:47:52

标签: python unit-testing celery

Celery文档mentions testing Celery within Django但没有解释如果您不使用Django如何测试Celery任务。你是怎么做到的?

10 个答案:

答案 0 :(得分:50)

可以使用任何unittest lib同步测试任务。在使用芹菜任务时,我正常做两个不同的测试会议。第一个(正如我建议的那样)是完全同步的,应该是确保算法做它应该做的事情。第二个会话使用整个系统(包括代理),并确保我没有序列化问题或任何其他分发,通信问题。

所以:

from celery import Celery

celery = Celery()

@celery.task
def add(x, y):
    return x + y

你的考试:

from nose.tools import eq_

def test_add_task():
    rst = add.apply(args=(4, 4)).get()
    eq_(rst, 8)

希望有所帮助!

答案 1 :(得分:46)

我用这个:

with mock.patch('celeryconfig.CELERY_ALWAYS_EAGER', True, create=True):
    ...

文档:http://docs.celeryproject.org/en/3.1/configuration.html#celery-always-eager

CELERY_ALWAYS_EAGER可让您同步运行任务,而不需要芹菜服务器。

答案 2 :(得分:25)

取决于您想要测试的内容。

  • 直接测试任务代码。不要调用“task.delay(...)”从单元测试中调用“task(...)”。
  • 使用CELERY_ALWAYS_EAGER。这将导致在您说“task.delay(...)”时立即调用您的任务,因此您可以测试整个路径(但不是任何异步行为)。

答案 3 :(得分:22)

单元测试

import unittest

from myproject.myapp import celeryapp

class TestMyCeleryWorker(unittest.TestCase):

  def setUp(self):
      celeryapp.conf.update(CELERY_ALWAYS_EAGER=True)

py.test灯具

# conftest.py
from myproject.myapp import celeryapp

@pytest.fixture(scope='module')
def celery_app(request):
    celeryapp.conf.update(CELERY_ALWAYS_EAGER=True)
    return celeryapp

# test_tasks.py
def test_some_task(celery_app):
    ...

附录:让send_task尊重渴望

from celery import current_app

def send_task(name, args=(), kwargs={}, **opts):
    # https://github.com/celery/celery/issues/581
    task = current_app.tasks[name]
    return task.apply(args, kwargs, **opts)

current_app.send_task = send_task

答案 4 :(得分:18)

对于那些关于Celery 4的人:

@override_settings(CELERY_TASK_ALWAYS_EAGER=True)

由于设置名称已更改,如果您选择升级需要更新,请参阅

http://docs.celeryproject.org/en/latest/whatsnew-4.0.html#lowercase-setting-names

答案 5 :(得分:13)

Celery 3.0 开始,在 Django 中设置CELERY_ALWAYS_EAGER的一种方法是:

from django.test import TestCase, override_settings

from .foo import foo_celery_task

class MyTest(TestCase):

    @override_settings(CELERY_ALWAYS_EAGER=True)
    def test_foo(self):
        self.assertTrue(foo_celery_task.delay())

答案 6 :(得分:6)

reference 使用pytest。

def test_add(celery_worker):
    mytask.delay()

如果使用烧瓶,请设置应用配置

    CELERY_BROKER_URL = 'memory://'
    CELERY_RESULT_BACKEND = 'cache+memory://'

conftest.py

@pytest.fixture
def app():
    yield app   # Your actual Flask application

@pytest.fixture
def celery_app(app):
    from celery.contrib.testing import tasks   # need it
    yield celery_app    # Your actual Flask-Celery application

答案 7 :(得分:3)

由于Celery v4.0 ,py.test灯具为provided以启动芹菜工作人员进行测试并在完成后关闭:

def test_myfunc_is_executed(celery_session_worker):
    # celery_session_worker: <Worker: gen93553@gnpill.local (running)>
    assert myfunc.delay().wait(3)

http://docs.celeryproject.org/en/latest/userguide/testing.html#py-test中描述的其他灯具中,您可以通过以下方式重新定义celery_config灯具来更改芹菜默认选项:

@pytest.fixture(scope='session')
def celery_config():
    return {
        'accept_content': ['json', 'pickle'],
        'result_serializer': 'pickle',
    }

默认情况下,测试人员使用内存代理和结果后端。如果不测试特定功能,则无需使用本地Redis或RabbitMQ。

答案 8 :(得分:2)

在我的情况下(我假设很多其他人),我想要的只是使用pytest来测试任务的内部逻辑。

TL; DR; 最终嘲笑一切(选项2

示例用例

proj/tasks.py

@shared_task(bind=True)
def add_task(self, a, b):
    return a+b;

tests/test_tasks.py

from proj import add_task

def test_add():
    assert add_task(1, 2) == 3, '1 + 2 should equal 3'

但是,由于shared_task装饰器做了很多芹菜内部逻辑,所以它不是一个单元测试。

所以,对我来说,有两个选择:

选项1:单独的内部逻辑

proj/tasks_logic.py

def internal_add(a, b):
    return a + b;

proj/tasks.py

from .tasks_logic import internal_add

@shared_task(bind=True)
def add_task(self, a, b):
    return internal_add(a, b);

这看起来很奇怪,除了使其不太可读之外,还需要手动提取并传递属于请求的属性,例如task_id以备不时之需,这样可以减少逻辑纯的。

选项2:嘲笑
嘲笑芹菜内部

tests/__init__.py

# noinspection PyUnresolvedReferences
from celery import shared_task

from mock import patch


def mock_signature(**kwargs):
    return {}


def mocked_shared_task(*decorator_args, **decorator_kwargs):
    def mocked_shared_decorator(func):
        func.signature = func.si = func.s = mock_signature
        return func

    return mocked_shared_decorator

patch('celery.shared_task', mocked_shared_task).start()

然后允许我模拟请求对象(同样,如果你需要来自请求的东西,比如id或重试计数器。

tests/test_tasks.py

from proj import add_task

class MockedRequest:
    def __init__(self, id=None):
        self.id = id or 1


class MockedTask:
    def __init__(self, id=None):
        self.request = MockedRequest(id=id)


def test_add():
    mocked_task = MockedTask(id=3)
    assert add_task(mocked_task, 1, 2) == 3, '1 + 2 should equal 3'

这个解决方案更加手动,但是,它为我提供了实际单元测试所需的控制,无需重复自己,也不会丢失芹菜范围。

答案 9 :(得分:0)

我在单元测试方法中看到很多 CELERY_ALWAYS_EAGER = true 作为单元测试的解决方案,但由于 5.0.5 版本可用,有很多更改使得大多数旧答案已被弃用,对我来说一个耗时的废话,因此对于在这里搜索解决方案的每个人,请转到文档并阅读新版本的详细记录的单元测试示例:

https://docs.celeryproject.org/en/stable/userguide/testing.html

对于带有单元测试的 Eager 模式,这里引用了实际文档:

<块引用>

急切模式

task_always_eager 设置启用的eager模式是由 定义不适合单元测试。

使用 Eager 模式进行测试时,您只是在测试模拟 发生在工人身上,并且两者之间存在许多差异 模拟和现实中发生的事情。