当任务结果很大时，我应该如何使用Celery？

Question

处理Celery中执行结果较大的任务的最佳方法是什么？我正在考虑像表转储之类的东西，我可能会返回数百兆字节的数据。

我认为将消息填入结果数据库的天真方法不会在这里为我服务，更不用说如果我将AMQP用于我的结果后端。但是，我有一些延迟是一个问题;取决于导出的特定实例，有时我必须阻止它直到它返回并直接从任务客户端发出导出数据（导入内容的HTTP请求进入，它不存在，但必须< / em>在对该请求的响应中提供......无论需要多长时间）

那么，为此编写任务的最佳方法是什么？

Answer 1

一种选择是在所有工作机器上运行静态HTTP服务器。然后，您的任务可以将大结果转储到静态根中的唯一文件，并返回对该文件的URL引用。接收者可以随意获取结果。

例如。有点模糊的东西：

@task
def dump_db(db):
  # Some code to dump the DB to /srv/http/static/db.sql
  return 'http://%s/%s.sql' % (socket.gethostname(), db)

你当然需要一些收获旧文件的方法，以及保证唯一性，可能还有其他问题，但你会得到一般的想法。

Answer 2

我通过构建我的应用程序来处理这个问题，将多兆字节的结果写入文件，我将它们存储到内存中，以便在使用该数据的所有进程之间共享...这完全解决了如何获取结果到另一台机器，但如果结果那么大，听起来这些任务是服务器进程之间的内部任务协调。