python mechanize检索大于1GB的文件

Question

我正在尝试通过mechanize下载一些文件。下载小于1GB的文件时不会出现任何问题。但是，如果文件大于1GB，则脚本内存不足：

mechanize_response.py脚本在以下行抛出内存不足 自.__ cache.write（self.wrapped.read（））

__ cache是​​一个cStringIO.StringIO，它似乎无法处理超过1GB。

如何下​​载大于1GB的文件？

由于

Answer 1

听起来您正试图将文件下载到内存中，但是您还没有足够的内容。尝试将retrieve方法与文件名一起使用，将下载的文件流式传输到光盘。

Answer 2

我终于找到了解决方法。 除了使用browser.retrieve或browser.open之外，我使用 mechanize.urlopen 返回了urllib2 Handler。这允许我下载大于1GB的文件。

我仍然有兴趣弄清楚如何为大于1GB的文件进行检索工作。