使用python将大文件下载到谷歌云存储

Question

我正在写一个python GAE程序。我想要做的是使用HTTP协议下载文件并将其写入Google云存储。

但如果我要求的文件很大（大于1Mb），

url = urllib2.urlopen(link)

没有工作。

它总是抛出ResponseTooLargeError

这篇文章解释了为什么会出现这个错误：

https://groups.google.com/forum/?fromgroups=#!topic/google-appengine/QEm-19vdcU4

然而，它并没有解决我的问题，即将大文件下载到云存储中。

任何人都可以帮助我吗？谢谢！

Answer 1

URL Fetch的每个响应限制为32MB。请参阅Python GAE SDK的quotas and limits部分。您将无法使用App Engine在一个大于该大小的请求中从URL复制任何内容。现在，您可以使用GCS或Blobstore直接从本地文件库将更大的内容上传到GAE，但不能通过从URL复制它。