我们在晚上在AWS中启动一个包含250个工作节点的集群,以处理一些长时间运行的分布式任务。
工作节点正在使用以下命令运行芹菜:
celery -A celery_worker worker --concurrency=1 -l info -n background_cluster.i-1b1a0dbb --without-heartbeat --without-gossip --without-mingle -- celeryd.prefetch_multiplier=1
我们使用rabbitmq作为我们的经纪人,并且只有1个rabbitmq节点。
我们约有60%的节点声称正在收听,但不会接听任何任务。
他们的日志看起来像这样:
-------------- celery@background_cluster.i-1b1a0dbb v3.1.18 (Cipater)
---- **** -----
--- * *** * -- Linux-3.2.0-25-virtual-x86_64-with-Ubuntu-14.04-trusty
-- * - **** ---
- ** ---------- [config]
- ** ---------- .> app: celery_worker:0x7f10c2235cd0
- ** ---------- .> transport: amqp://guest:**@localhost:5672//
- ** ---------- .> results: disabled
- *** --- * --- .> concurrency: 1 (prefork)
-- ******* ----
--- ***** ----- [queues]
-------------- .> background_cluster exchange=root(direct) key=background_cluster
[tasks]
. more.celery_worker.background_cluster
[2015-10-10 00:20:17,110: WARNING/MainProcess] celery@background_cluster.i-1b1a0dbb
[2015-10-10 00:20:17,110: WARNING/MainProcess] consuming from
[2015-10-10 00:20:17,110: WARNING/MainProcess] {'background_cluster': <unbound Queue background_cluster -> <unbound Exchange root(direct)> -> background_cluster>}
[2015-10-10 00:20:17,123: INFO/MainProcess] Connected to amqp://our_server:**@10.0.11.136:5672/our_server
[2015-10-10 00:20:17,144: WARNING/MainProcess] celery@background_cluster.i-1b1a0dbb ready.
然而,rabbitmq显示队列中有消息等待。
如果我登录任何工作节点并发出此命令:
celery -A celery_worker inspect active
...然后每个(先前停滞的)工作节点立即抓取任务并开始启动。
关于为什么的任何想法?
它可能与这些开关有关吗?
--without-heartbeat --without-gossip --without-mingle
答案 0 :(得分:2)
事实证明,这是芹菜中的一个错误,使用--without-gossip
来阻止排水事件。 Celery的八卦实现是相当新的,它显然隐含地处理了耗尽事件,但是当你把它关掉时,事情变得有点不可思议。
此问题的详细信息在此github问题中列出:https://github.com/celery/celery/issues/1847
Master目前在此PR中有修复:https://github.com/celery/celery/pull/2823
所以你可以用以下三种方法解决这个问题:
celery inspect active