我必须处理超过一百万个文件,但是运行了将近一分钟后,我得到了
An existing connection was forcibly closed by the remote host
这是我的celeryconfig.py文件
BROKER_URL = "amqp://guest:guest@localhost:5672//"
CELERY_RESULT_BACKEND = 'rpc://'
CELERY_ACKS_LATE = True
CELERYD_PREFETCH_MULTIPLIER = 1
CELERYD_CONCURRENCY = 1
在这里,我正在使用glob读取文件并创建块,最后同时处理这些块。
jobs = bulk_doc.chunks(zip(glob.iglob("C:/Data/" + '**/*.eml', recursive=True)), 1000).delay().get()
代码正在正确执行,但是由于关闭了连接,结果丢失了,我想进一步使用这些结果。
请帮助! 谢谢!