Tornado服务器将文件发送到远程客户端块服务器

时间:2017-03-28 15:31:21

标签: python concurrency tornado nonblocking

所以我想使用Tornado来实现一个简单的文件下载服务器。这是我目前的代码:

class downloadHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    def get(self):
        global data
        self.write(data)
        self.flush()
        self.finish()

def get_buf(path):
    buf = bytearray(os.path.getsize(path))
    with open(path, 'rb') as f:
        f.readinto(buf)
    return bytes(buf)

if __name__ == '__main__':
    data = get_buf('path/to/file')
    tornado.options.parse_command_line()
    app = tornado.web.Application(handlers=[(r"/upgrade", downloadHandler)])
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.listen(options.port)
    tornado.ioloop.IOLoop.instance().start()

如您所见,我将文件读入bytearray并将其转换为bytes对象,这只在启动服务器之前完成一次。我所做的只是将数据写入远程客户端。文件大小类似于2MB。我使用' siege'进行测试,结果看起来客户端一个接一个地接收数据,而不是同时接收数据。

siege http://xxx.xx.xx.xx:8000/upgrade -c5 -r1
** SIEGE 4.0.2
** Preparing 5 concurrent users for battle.
The server is now under siege...
HTTP/1.1 200    20.22 secs: 1969682 bytes ==> GET  /upgrade
HTTP/1.1 200    34.24 secs: 1969682 bytes ==> GET  /upgrade
HTTP/1.1 200    48.24 secs: 1969682 bytes ==> GET  /upgrade
HTTP/1.1 200    62.24 secs: 1969682 bytes ==> GET  /upgrade
HTTP/1.1 200    76.25 secs: 1969682 bytes ==> GET  /upgrade

我检查了龙卷风文件,我认为self.write()是一个非阻塞调用,我调用了self.flush()。什么阻止服务器?

我也尝试过tornado.web.StaticFileHandler,结果差不多。

PS:龙卷风是不是正确的工具?如果不是,有哪些其他替代方法可以满足我的需求?

1 个答案:

答案 0 :(得分:2)

尝试以块的形式写入数据,可能是256千字节,而不是一次性写入:

class downloadHandler(tornado.web.RequestHandler):
    async def get(self):
        chunk_size = 256 * 1024
        for i in range(0, len(data), chunk_size):
            self.write(bytes(data[i:i + chunk_size]))
            await self.flush()

        self.finish()

def get_buf(path):
    buf = bytearray(os.path.getsize(path))
    with open(path, 'rb') as f:
        f.readinto(buf)
    return buf

以块的形式写入允许Tornado的IOLoop重新获得写入之间的控制权(这就是“await”所做的),因此可以同时执行多项操作。

请注意,您可以通过将数据保持为bytearray而不是转换为字节来保存一些数据复制。

我的代码是Python 3.5+。在2.7中,执行:

@gen.coroutine
def get(self):
    chunk_size = 256 * 1024
    for i in range(0, len(data), chunk_size):
        self.write(bytes(data[i:i + chunk_size]))
        yield self.flush()

    self.finish()