生产中的守护进程芹菜

时间:2019-07-30 07:47:02

标签: django service celery systemctl

我正在尝试使用在env中安装的Django 2.1.1和Celery 4.1.1在系统范围内安装的Celery 4.1.0在Ubuntu 18.04中将Celery作为服务运行。我将与this tutorial一起将Celery作为服务运行。这是我的Django项目树:

    hamclassy-backend
                 ├── apps
                 ├── env
                 │   └── bin
                 │        └── celery
                 ├── hamclassy
                 │   ├── celery.py
                 │   ├── __init__.py
                 │   ├── settings-dev.py
                 │   ├── settings.py
                 │   └── urls.py
                 ├── wsgi.py
                 ├── manage.py
                 └── media

这是celery.py:

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'hamclassy.settings')

app = Celery('hamclassy')

app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks()

这是/etc/systemd/system/celery.service:

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=classgram
Group=www-data
EnvironmentFile=/etc/conf.d/celery
WorkingDirectory=/home/classgram/www/hamclassy-backend
ExecStart=/bin/sh -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
  -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
  --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'
ExecStop=/bin/sh -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
  --pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/sh -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
  -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
  --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target


和/etc/conf.d/celery:

CELERYD_NODES="celery-worker"

CELERY_BIN="/home/classgram/www/env/bin/celery"

# App instance to use
CELERY_APP="hamclassy"


CELERYD_MULTI="multi"
# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"

# %n will be replaced with the first part of the nodename.
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_LEVEL="INFO"

当我使用systemctl start celery.service运行服务时,出现以下错误:

  

celery.service的作业失败,因为控制进程退出   错误代码。请参见“ systemctl status celery.service”和“ journalctl -xe”   详情

当我运行sudo journalctl -b -u celery时,将显示以下日志:

  

正在启动Celery服务... celery.service:控制进程已退出,   代码=退出状态= 200 celery.service:失败,结果为“退出代码”。   无法启动芹菜服务。

更多信息
1):当我使用groups classgram时,出现:www-data sudo
2)激活环境后,我可以在celery -A hamclassy worker -l info上运行Celery。

谢谢

1 个答案:

答案 0 :(得分:2)

好的,既然我们知道了错误所在(从您的评论中得出),那么以下几个步骤很可能会解决您的问题:

  1. 为Celery创建虚拟环境:python3 -m venv /home/classgram/venv

  2. 您的环境文件必须为export PYTHONPATH=/home/classgram/www/hamclassy-backend,这是最简单的解决方案,适用于测试和开发。但是,对于生产环境,我建议您构建一个Python程序包(轮子),并将其安装在虚拟环境中。

  3. 修改您的systemd服务文件(可能还修改环境文件),以便您直接从上面创建的Python虚拟环境中直接执行Celery。它应该以这种方式(或类似方式)运行Celery:/home/classgram/venv/bin/celery multi start ${CELERYD_NODES} -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}。当然,您可以通过将CELERY_BIN设置为/home/classgram/venv/bin/celery来缩短它。