Google Application Engine - 使用网址提取服务

Question

我看过http://code.google.com/appengine/docs/java/urlfetch/overview.html 但代码没有显示汇集示例， 我的意思是，如果我想获取www.example.com/1.html,www.example.com/3.html,www.example.com/3.html, ....,www.example.com/1000。 HTML

我必须打开1000个连接并关闭1000个连接。 我想我可以打开1个连接'keep-alive'，发出1000个请求然后关闭它。 那应该更快。 但我不知道如何使用url.openStream（）

来做到这一点

Answer 1

URLFetch服务在比单个连接更高的抽象级别上运行，并且使用它的本机Python和Java库被修改为使用此服务。因此，您无法直接控制连接 - 但您可以预期底层服务会在认为合适时保持连接打开。

Answer 2

不幸的是，正如Java App Engine的the docs所说，此时“URL提取服务的Java API仅支持同步请求”。 App Engine的Python version确实支持异步请求，因此，如果移植到Python是不可想象的，您可能会等待合理的希望这样的功能最终也会在Java端。毕竟，Python版本已经存在了一年多，所以当然它更成熟，更稳定，功能更丰富。