使用TaskQueue获取大量数据

时间:2011-09-24 23:36:29

标签: python google-app-engine

我想从网址获取大文件,但它总是会引发 DeadLineExceededError ,尽管我尝试过使用 TaskQueue 并将截止日期= 600 添加到fetch。 问题来自fetch,所以后端在这里无法提供帮助:即使我发布了一个带有TaskQueue的后端,我也有24h to return,但仍有限制获取10分钟,是吗?

有没有办法从文件的特定偏移量获取到另一个偏移量?那么,在将所有部分组合在一起后,我可以分割取出来吗?

有什么想法吗?

实际上要获取的文件并不是很大:介于15到30 MB之间,但服务器可能非常慢并且不断被解雇......

1 个答案:

答案 0 :(得分:1)

如果服务器支持,您可以提供HTTP Range header以指定要获取的文件的子集。如果内容是静态提供的,服务器可能会尊重范围请求;如果它是动态的,则取决于生成响应的代码的作者是否允许它们。