Question

我正在尝试使用Flask应用程序生成大型PDF。 pdf生成涉及生成十个长pdf，然后将它们合并在一起。该应用程序使用Gunicorn运行标志：--worker-class gevent --workers 2.

这是我的服务器端代码：

@app.route ('/pdf/create', methods=['POST', 'GET'])
def create_pdf():
    def generate():
        for section in pdfs:
            yield "data: Generating %s pdf\n\n" % section
            # Generate pdf with pisa (takes up to 2 minutes)

        yield "data:  Merging PDFs\n\n"
        # Merge pdfs (takes up to 2 minutes)
        yield "data: /user/pdf_filename.pdf\n\n"

    return Response(stream_with_context(generate()), mimetype='text/event-stream')

客户端代码如下所示：

var source = new EventSource(create_pdf_url);
source.onopen = function (event) {
  console.log("Creating PDF")
}
source.onmessage = function (event) {
    console.log(event.data);
}
source.onerror = function (event) {
    console.log("ERROR");
}

当我在没有 GUnicorn的情况下运行时，我会从控制台日志中获得稳定的实时更新。他们看起来像：

Creating PDF Generating section one Generating section two Generating section three ... Generating section ten Merging PDFS /user/pdf_filename.pdf

当我使用 Gunicorn运行此代码时，我不会定期更新。工作人员一直运行直到Gunicorn的超时杀死它，然后我收到所有应该发生的消息的转储，然后是最后的错误

Creating PDF Generating section one Generating section two ERROR

Gunicorn日志看起来像：

[2015-03-19 21:57:27 +0000] [3163] [CRITICAL] WORKER TIMEOUT (pid:3174)

如何让Gunicorn不要杀死这个过程？我不认为设置超大超时是一个好主意。也许在gunicorn的工人类中有什么东西可以用来确保正确处理过程？

Answer 1

我最终用Celery解决了这个问题。

我使用this example来指导我设置Celery。

然后我使用Grinberg's Celery tutorial将实时更新流式传输到用户的浏览器。

通过Gunicorn + Flask加载事件流

1 个答案: