许多连接下载后,龙卷风无法释放内存

时间:2018-05-10 19:31:24

标签: python asynchronous tornado

我在Tornado中释放内存存在一些问题。我的处理程序下载大字节文件的一部分,并将其写入响应。但是并行请求越多,使用的内存就越多(这是合乎逻辑的)。但是在请求结束后,内存不是免费的!

我的代码:

import tornado.ioloop
import tornado.web
import tornado.gen
from tornado.httpclient import AsyncHTTPClient, HTTPRequest


AsyncHTTPClient.configure("tornado.curl_httpclient.CurlAsyncHTTPClient", max_clients=50)


class MainHandler(tornado.web.RequestHandler):

    @tornado.gen.coroutine
    def get(self):
        url = "http://example.com/big_bytes_file"
        request = HTTPRequest(url, headers={'Range': 'bytes=0-1048576'}, method='GET')
        client = AsyncHTTPClient()
        range_resp = yield client.fetch(request)
        self.write(range_resp.body)


def make_app():
    return tornado.web.Application([(r"/", MainHandler), ])


if __name__ == "__main__":
    app = make_app()
    app.listen(5000)
    tornado.ioloop.IOLoop.current().start()

我做什么?

  1. 我在启动应用程序后看到内存使用情况(111 MB): memory after start

  2. 发送一个请求。内存增加(114 MB):114 MB

  3. 从25个用户发送并行请求。内存 - 123 MB。

  4. 从50个用户发送并行请求。内存 - 153 MB。

  5. 从100个用户发送并行请求。内存 - 205 MB。

  6. 等几分钟。记忆不会减少。

  7. 为什么? :)

    P.S。例如,我们发送来自80个用户的请求。此记忆增加后。之后,只有当用户超过80时,内存才会增加。

0 个答案:

没有答案