用于HTTP支持的Python库 - 包括Content-Encoding

Question

我有一个查询不同网站的刮刀。其中一些不同地使用Content-Encoding。由于我正在尝试模拟AJAX查询并需要模仿Mozilla，我需要全力支持。 Python有多个HTTP库，但似乎都不完整：

httplib似乎非常低级，更像是一个HTTP数据包嗅探器。

urllib2是某种精心设计的恶作剧。各种Web客户端函数有十几个处理程序，但内容编码等强制性HTTP功能显然不是。

机械化：很好，我的任务已经有点过分，但只支持CE'gzip'。

httplib2：听起来最有希望，但实际上是'deflate'编码失败，因为原始deflate和zlib流的差异。

还有其他选择吗？我不敢相信我会为上面的库重新实现变通方法。并且在我的应用程序旁边分发修补版本并不是一个好主意，因为如果相应的库可以作为单独的分发包使用，则包装商可能会再次将其删除。

我几乎不敢说，但PHP中的http函数API更好。除了Content-Encoding：*，我可能还需要multipart / form-data。那么，是否有一个全面的第三方库用于http检索？

Answer 1

我会考虑调用cURL的子进程或使用python bindings for libcurl。

来自this description cURL似乎支持gzip和deflate。

Answer 2

Beautiful Soup可能有效。把它扔到那里。