你能推荐一些Python HTTP客户端库吗？

Question

我想用Python来捕获某些网站的信息。 我希望HTTP客户端满足这些条件：

1. 支持HTTPS

2. 不会使用太多内存，不应生成大量进程或线程。

3. 有明确的文档并得到积极支持

---

我知道requests，tornado或gevent -httpclient 可以完成我的任务，但我不知道哪个是最好的？或者还有其他选择吗？

或者，如果在C / c++中有其他选择。

Answer 1

使用requests。它具有各种库中最相同的API。

Answer 2

另一个选项是httplib2。

• 简单（因而有效）
• 支持所需的一切和​​Python 3
• 不在Github上
• 几个月可能会在下一次提交之前通过（部分原因是因为它正常工作）

Answer 3

这是另一个建议：

1. GRequests 使您可以将Requests与Gevent一起使用，以轻松进行异步HTTP请求。
2. httplib2
3. Requests
4. treq

Answer 4

我发现urllib3是一个不错的选择。它为您设置请求池并轻松处理SSL。

我还认为请求现在可以在后台使用。

http://urllib3.readthedocs.io/en/latest/