如何使用Python将多个代理组合成一个?与Scrapy / Crawlera相似

时间:2014-06-28 20:03:07

标签: python scrapy

我有多个代理,我想同时使用多个Scrapy蜘蛛,同时管理域特定访问模式和禁令等内容。 我想做以下事情:

                          > external proxy 1
my_app > my_proxy_daemon  > external proxy 2
                          > external proxy 3

这基本上就是Crawlera所做的。

哪种Python软件最容易适应这项任务?   - 代理服务器接受请求   - 代理客户端中继请求   - 使其全部无阻塞

0 个答案:

没有答案