使用Python通过HTTP下载压缩内容

Question

使用Python下载网页时如何利用HTTP 1.1的压缩？

我目前正在使用内置的urllib模块来下载网页内容。阅读文档后，我找不到任何确实使用压缩的信息。

它已经内置到 urllib 中，还是有其他我可以使用的库？

Answer 1

httplib2支持'deflate'和'gzip'压缩。

示例

import httplib2
h = httplib2.Http(".cache")
resp, content = h.request("http://example.org/", "GET")

根据需要解压缩内容。