我有多个代理,我想同时使用多个Scrapy蜘蛛,同时管理域特定访问模式和禁令等内容。 我想做以下事情:
> external proxy 1
my_app > my_proxy_daemon > external proxy 2
> external proxy 3
这基本上就是Crawlera所做的。
哪种Python软件最容易适应这项任务? - 代理服务器接受请求 - 代理客户端中继请求 - 使其全部无阻塞