更快下载文件

时间:2015-12-31 05:17:49

标签: python performance python-2.7

我正在使用请求模块通过Internet下载XML文件并以块的形式写入文件。上面的代码看起来像

r = requests.get(xml_url+version, stream=True)
with open('test.xml', 'wb') as f:
    for chunk in r.iter_content(chunk_size=1024): 
        if chunk:
            f.write(chunk)

文件大小可以在几KB到大约150 MB之间变化。请注意,文件必须严格按顺序排列,因此,使用多线程进行异步写入不是一种选择。

任何人都可以帮我解决如何提高写入文件的速度,因为当文件大小达到100 MB时,下载文件需要花费大量时间并且变得相当昂贵。

0 个答案:

没有答案