运行芹菜工人和芹菜作为线程击败

时间:2016-05-23 10:06:33

标签: python celery celerybeat

我正在使用芹菜来执行一些时间触发的任务。使用普通的命令行方法,我可以轻松地生成任务并执行它们。为此,我必须创建两个守护进程,一个用于芹菜击败,另一个用于芹菜工作者。

现在虽然celery确实解决了我创建和执行时间触发任务的问题,但它的代价是我的系统需要两个额外的守护进程。我已经为我的模块运行了一个守护进程,我想重用它(添加芹菜工作者并将其作为一个线程连接到现有模块)。有办法吗?

1 个答案:

答案 0 :(得分:2)

您可以使用app.worker_main()将工作线程作为线程运行。

由于您可以从命令行运行它,我假设您已经为Celery类构建了一个对象(通常在文档中称为app)。您可以尝试以下代码将worker作为线程运行。

from celeryconfig import app # config file you must have build earlier where app = Celery(), object of Celery class

def worker():
    # Arguments you give on command line
    argv = [
        'worker','-A','<module>.tasks',
        '-P','gevent',     # Would probably need this argument if running with other Greenlets
        '--loglevel=info']
    app.worker_main(argv)

只需在模块的main.py文件中为上述方法创建一个线程。

对于芹菜殴打,我之前尝试过自己建造类似的方法。 (不确定是否已存在方法)。我编写了以下方法并将其添加到Celery类

def beat_main(self, argv=None):
    return instantiate(
        'celery.bin.beat:beat',
        app=self).execute_from_commandline(argv)

您的Celery类是用/usr/local/lib/python2.7/dist-packages/celery/app/base.py编写的。尝试以与worker(app.beat_main带参数)相同的方式使用它。希望它也适合你。