当数据仍然存在时，如何从http响应python获得部分结果？

Question

我正在向服务器发出请求，但HTML页面很长，发送整个数据需要很长时间。我希望一旦数据到达就开始处理。就像从上到下有数据呈现的浏览器一样。 我怎么能在python中这样做？ urllib可以用于此目的吗？

Answer 1

为此目的，urllib本身装备不足。 urlretrieve()方法允许回调。但是，这仅仅是报告，而不是实际的数据处理。 urllib2在这方面没有任何改进。

然而，requests lib在提供的event hooks中非常有前途。