Python中的快速http查询

Question

我需要发送许多http post请求（数千个）并且并行读取响应。我在python中使用httplib，发送请求平均需要0.5毫秒，而且读取响应的速度很慢。我使用coroutines（gevent）代替线程来加快速度。 为了加快速度，我考虑了以下几点：

• 编写C代码（我需要在C中找到一个好的http库），然后编写一个c-extension
• 使用Cython

哪种方法可以产生运行速度最快的代码？任何与一种或另一种方法分享经验的人也会非常感激。任何其他想法都非常受欢迎。

Answer 1

我建议你看看PyCURL。在执行此操作之前，您应该检查在命令行中使用curl时是否获得更高的吞吐量。如果情况并非如此，那么使用PyCURL可能无法获得更好的结果。