为什么后台任务会阻止SimpleHTTPServer中的响应?

时间:2010-10-19 23:58:49

标签: python multiprocessing simplehttpserver

我正在编写一个简单的基于浏览器的前端,它应该能够启动后台任务,然后从中获取进展。我希望浏览器收到一个响应,说明任务是否成功启动,然后轮询以确定何时完成。但是,后台任务的存在似乎阻止了XMLHttpRequest响应立即发送,因此我无法报告启动该过程的成功。请考虑以下(简化)代码:

import SocketServer
import SimpleHTTPServer
import multiprocessing
import time

class MyProc(multiprocessing.Process):
    def run(self):
        print 'Starting long process..'
        for i in range(100): time.sleep(1)
        print 'Done long process'

class Page(SimpleHTTPServer.SimpleHTTPRequestHandler):
    def do_GET(self):
        if self.path == '/':
            print >>self.wfile, "<html><body><a href='/run'>Run</a></body></html>"
        if self.path == '/run':
            self.proc = MyProc()
            print 'Starting..'
            self.proc.start()
            print 'After start.'
            print >>self.wfile, "Process started."

httpd = SocketServer.TCPServer(('', 8000), Page)
httpd.serve_forever()

当我运行它并浏览到http://localhost:8000时,我得到一个名为“Run”的按钮。当我点击它时,终端显示:

Starting..
After start.

但是浏览器视图不会改变..事实上光标正在旋转。只有当我在终端中按Ctrl-C来中断程序时,浏览器才会更新,并显示消息Process started.

显示正在打印消息After start。因此,我可以假设do_GET在启动过程后返回。然而,在我中断长时间运行的进程之后,浏览器才会得到响应。我必须得出结论,do_GET与发送的响应之间存在阻塞,这在SimpleHTTPServer内。

我也尝试过使用线程和subprocess.Popen,但遇到了类似的问题。有什么想法吗?

3 个答案:

答案 0 :(得分:3)

除了Steve和我上面的评论之外,这里有一个适合我的解决方案。

确定内容长度的方法有点难看。如果未指定,则尽管显示了内容,浏览器仍可能显示旋转光标。关闭self.wfile也可以起作用。

from cStringIO import StringIO

class Page(SimpleHTTPServer.SimpleHTTPRequestHandler):
    def do_GET(self):
        out = StringIO()
        self.send_response(200)
        self.send_header("Content-type", "text/html")
        if self.path == '/':
            out.write("<html><body><a href='/run'>Run</a></body></html>\n")
        elif self.path == '/run':
            self.proc = MyProc()
            print 'Starting..'
            self.proc.start()
            print 'After start.'
            out.write("<html><body><h1>Process started</h1></body></html>\n")
        text = out.getvalue()
        self.send_header("Content-Length", str(len(text)))
        self.end_headers()
        self.wfile.write(text)

答案 1 :(得分:2)

我使用此代码片段运行SimpleHTTPServer的Threaded版本。

我将此文件另存为ThreadedHTTPServer.py,然后我就这样运行:

$ python -m /path/to/ThreadedHTTPServer PORT

因此它将在分离的线程中进行威胁,现在您可以在并行下载并正确导航。

from BaseHTTPServer import HTTPServer, BaseHTTPRequestHandler
from SocketServer import ThreadingMixIn
import threading
import SimpleHTTPServer
import sys

PORT = int(sys.argv[1])

Handler = SimpleHTTPServer.SimpleHTTPRequestHandler

class ThreadedHTTPServer(ThreadingMixIn, HTTPServer):
    """Handle requests in a separate thread."""

if __name__ == '__main__':
    server = ThreadedHTTPServer(('0.0.0.0', PORT), Handler)
    print 'Starting server, use <Ctrl-C> to stop'
    server.serve_forever()

答案 2 :(得分:0)

答案是多处理模块使用自己的标准输出完全不同的进程...所以你的应用程序就像你编写它一样运行:

  1. 启动应用程序 你的终端窗口。
  2. 您点击浏览器中的“运行”按钮 这是一个GET on / run
  3. 您会看到当前进程的输出 您的终端窗口,“正在开始......”
  4. 启动了一个新流程,MyProc 有自己的stdout和stderr。
  5. MyProc打印到它的标准输出(哪个 无处可去),'开始很久 过程..'。
  6. MyProc启动的那一刻,你的应用程序打印到 stdout,“开始后。”既然如此 没有告诉等待任何一种 在做之前来自MyProc的回应 如此。
  7. 您需要的是实现一个在主应用程序进程和分叉进程之间来回通信的队列。这里有一些关于如何执行此操作的多处理特定示例:

    http://www.ibm.com/developerworks/aix/library/au-multiprocessing/

    然而,那篇文章(与IBM的大多数文章一样)有点深刻且过于复杂......你可能想看看如何使用“常规”队列模块的一个更简单的例子(它几乎是与多处理中包含的相同:

    http://www.artfulcode.net/articles/multi-threading-python/

    要理解的最重要的概念是如何使用Queue在进程之间对数据进行混洗,以及如何在继续之前使用join()等待响应。