通过抓取，我将随机代理中间件用于Scrapy（https://github.com/aivarsk/scrapy-proxies）。
首先，我通过抓取免费代理站点（不使用代理旋转）获得list.txt（代理列表） 然后我抓取另一个站点（代理旋转） 当我由两个不同的Scrapy项目运行它时，效果很好。
问题是如何在一个scrapy项目中结合使用代理和scraping，或者有另一种方法来处理它？</ p>
我试图在一个Scrapy项目中一起运行它，不幸的是，它不起作用。可能是因为在这种情况下，scrapy-proxies尝试使用list.txt进行代理轮换，但根据向free-proxy-site的请求，代理轮换当时为空。