如何在Google App Engine上获取（超过1MB）？

Question

Google App Engine限制urlfetch.fetch()对1MB的回复。有没有解决方法（可能转换为付费版本）？

我正在使用Python，如果有可能提供一个很棒的例子。

Answer 1

使用全新的SDK 1.4.0，您可以下载32MByte; 请记住，您仍然有10秒的截止时间限制;-)。截止日期最长可达60秒，请求处理程序和10分钟的任务队列和cron作业处理程序。

  

允许的URLFetch响应大小有   增加了，高达32 MB。请求   大小仍然限制在1 MB。

Answer 2

不，每次网址抓取不能超过1MB（即使您启用了结算）。但是，您可以使用Range标头获取目标URL的一部分，然后将这些部分组合在一起。这甚至可能更快，因为您可以同时获取每个1MB的块（使用asynchronous fetches）。