使用python twisted写一个web爬虫

Question

我正在使用Twisted编写一个由Selenium驱动的网络抓取工具。我的想法是，我为扭曲的客户端和扭曲的服务器生成扭曲的线程，该服务器将HTTP请求代理到服务器。看起来像这样：

    +--------+       +--------+
    |        +------>+        |
 -->| Client |       | Server |---> WWW
    |        +<------+        |
    +--------+       +--------+

但这一切都在同一个过程中运行。问题是twisted是否允许这种应用程序，或者只被认为是以Client和Server作为不同的进程运行（因为这是我在任何地方都看到的典型情况）。

Answer 1

您不能在线程中使用Twisted。但是，您可以创建一个可以愉快地创建多个客户端和服务器的Twisted线程。

您可能需要更详细地描述您的问题，以获得更好的答案。