在AWS ECS上设置celery worker和celery beat(django app)

时间:2018-11-29 22:41:07

标签: django celery amazon-ecs celerybeat

我有一个带有celery worker和beat的Django应用程序,我很难在ECS上设置celery(在ECS上配置Django应用程序非常简单,没有问题)。

1)我应该为 worker beat 使用哪种服务:{{1 }}或REPLICA

service

2)我可以在任务定义配置上对运行状况检查使用什么命令?

task_definition

我尝试使用supervisor,也直接在任务定义的命令部分直接调用DAEMON命令。

我不知道我到底想念什么...

  • 主管配置文件:

supervisor.conf

celery

celeryworker.conf

[unix_http_server]
file=/var/run/supervisor.sock   ; (the path to the socket file)
chmod=0700                      ; sockef file mode (default 0700)

[supervisord]
logfile=/var/log/supervisor/supervisord.log ; supervisord log file
logfile_maxbytes=50MB       ; maximum size of logfile before rotation
logfile_backups=10          ; number of backed up logfiles
loglevel=debug               ; info, debug, warn, trace
pidfile=/var/run/supervisord.pid ; pidfile location
nodaemon=false              ; run supervisord as a daemon
minfds=1024                 ; number of startup file descriptors
minprocs=200                ; number of process descriptors
user=root                   ; default user
childlogdir=/var/log/supervisor/            ; where child log files will live

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket
[include]
files = /etc/supervisor/conf.d/*.conf

celerybeat.conf

[program:celery]
command=/start-worker.sh

directory=/app
user=myuser
numprocs=1
stdout_logfile=/var/log/app_logs/celery-worker.log
stderr_logfile=/var/log/app_logs/celery-worker.log
autostart=true
autorestart=true
startsecs=10
stopwaitsecs = 600

stopasgroup=true

priority=1000
  • 运行脚本:

start-worker.sh

[program:celerybeat]
command=/start-beat.sh

directory=/app
user=myuser
numprocs=1
stdout_logfile=/var/log/app_logs/celery-beat.log
stderr_logfile=/var/log/app_logs/celery-beat.log
autostart=true
autorestart=true
startsecs=10
process group.

stopasgroup=true

priority=999

start-beat.sh

#!/usr/bin/env bash
celery -A my_app worker -l ${APP_LOG_LEVEL} -n worker.%%h

1 个答案:

答案 0 :(得分:0)

只需使用最小健康百分比 = 0 和@ItayB指出的没有健康检查的任务定义创建服务即可。 我还删除了主管设置。