问题

Question

问题

如何解决Celery的ConnectionError: Too many heartbeats missed？

示例错误

[2013-02-11 15:15:38,513: ERROR/MainProcess] Error in timer: ConnectionError('Too many heartbeats missed', None, None, None, '')
Traceback (most recent call last):
  File "/app/.heroku/python/lib/python2.7/site-packages/celery/utils/timer2.py", line 97, in apply_entry
    entry()
  File "/app/.heroku/python/lib/python2.7/site-packages/celery/utils/timer2.py", line 51, in __call__
    return self.fun(*self.args, **self.kwargs)
  File "/app/.heroku/python/lib/python2.7/site-packages/celery/utils/timer2.py", line 153, in _reschedules
    return fun(*args, **kwargs)
  File "/app/.heroku/python/lib/python2.7/site-packages/kombu/connection.py", line 265, in heartbeat_check
    return self.transport.heartbeat_check(self.connection, rate=rate)
  File "/app/.heroku/python/lib/python2.7/site-packages/kombu/transport/pyamqp.py", line 134, in heartbeat_check
    return connection.heartbeat_tick(rate=rate)
  File "/app/.heroku/python/lib/python2.7/site-packages/amqp/connection.py", line 837, in heartbeat_tick
    raise ConnectionError('Too many heartbeats missed')
ConnectionError: Too many heartbeats missed

应用程序概述

使用芹菜进行定期后台任务的Django app
主持Heroku
计划通过settings / celerybeat
通过CloudAMQP插件处理消息传递
运行的流程
- web: newrelic-admin run-program gunicorn --workers=2 --worker-class=gevent someapp.wsgi:application
- scheduler: newrelic-admin run-program python manage.py celery worker -B -E --maxtasksperchild=1000 --loglevel=WARNING

包版本

我认为是相关的：

Django==1.4.3
amqp==1.0.8
billiard==2.7.3.20
celery==3.0.14
gevent==0.13.8
greenlet==0.4.0
kombu==2.5.6
raven==3.1.10

我到目前为止所做的事

将错误与活动相关联（似乎与用户的访问应用程序无关，调用后台任务，应用程序空闲）
谷歌搜索/搜索直到我的手指麻木
将软件包升级到最新版本
各种级别的日志记录
使用Sentry捕获异常（不会出现在哨兵中）
无法在开发环境下本地重现错误，仅在Heroku上生成

可能的相关信息

我不确定这个错误最初出现的时间（〜一个月前？）
可能会以某种方式与以下更改相关（在此之前不记得错误，但不是100％确定）
- celery==3.0.13至celery==3.0.14
- amqplib - ＆gt; amqp
- kombu==2.4.8至kombu==2.5.4
错误仅出现在日志中（不会被New Relic或getsentry.com接收）

Answer 1

多久发生一次？

在您的情况下，心跳监视可能无法正常工作。心跳支持是最近才引入的，因此可能存在错误。我无法在此处重现这一点，因此我需要更多数据来了解正在发生的事情。

您可以通过设置BROKER_HEARTBEAT=0来停用心跳。如果这是一个错误，那么工作人员应该运行良好，但它将无法运行快速检测断开的连接。无法检测到连接丢失某些环境中的问题（通常由特定的路由器/防火墙配置引起）

Django Celery Connection错误：错过了很多心跳

问题

示例错误

应用程序概述

包版本

我到目前为止所做的事

可能的相关信息

1 个答案: