如何在多个抓取抓取工具中实现代理池？

Question

我必须在具有多个使用scrapy的搜寻器的服务器中实现代理池。

鉴于我已经有一个带有多个代理且一直被更新的数据库，我将如何实现代理池。

我不想直接在代码中添加代理，主要是因为其中很多代理死得很快，而且某些爬网程序花费的时间太长。

是否可以使用中间件或不需要更改我获得的每个爬网程序的东西来实现此目的？

谢谢。

Answer 1

是的，您可以使用downloader middleware来实现这种代理处理。

Search Github for ‘scrapy proxy’找到一些处理代理配置的下载中间件的示例。