Celery-连接被远程主机强行关闭

时间:2019-10-03 04:56:55

标签: python rabbitmq celery

我必须处理超过一百万个文件,但是运行了将近一分钟后,我得到了 An existing connection was forcibly closed by the remote host

这是我的celeryconfig.py文件

BROKER_URL = "amqp://guest:guest@localhost:5672//"
CELERY_RESULT_BACKEND = 'rpc://'
CELERY_ACKS_LATE = True
CELERYD_PREFETCH_MULTIPLIER = 1
CELERYD_CONCURRENCY = 1

在这里,我正在使用glob读取文件并创建块,最后同时处理这些块。

jobs = bulk_doc.chunks(zip(glob.iglob("C:/Data/" + '**/*.eml', recursive=True)), 1000).delay().get()

代码正在正确执行,但是由于关闭了连接,结果丢失了,我想进一步使用这些结果。

请帮助! 谢谢!

0 个答案:

没有答案