几个并发的URL调用

Question

我如何制作，并行地说N个网址，并在回复时处理回复？

我想准备好回复并将它们打印到屏幕上，也许是经过一些操作。 我不关心回复的顺序。

Answer 1

您可以使用Twisted Python，例如此处的示例：https://twistedmatrix.com/documents/13.0.0/web/howto/client.html#auto3

Twisted是一个Python的异步编程库，它允许你“同时”执行多个动作，它带有一个HTTP客户端（和服务器）。

Answer 2

我想到的一个基本解决方案是使用threading。

根据您并行检索的URL数量，每个URL可以有一个线程。或者（更好地扩展），拥有固定数量的“工作”线程，从共享的Queue读取URL。