我使用Crawlera作为代理管理器,但它的并发请求数量有限。当一个爬虫运行时(使用报废),我保持在该限制之下,所以我没有错误。但是,当使用scrapyd同时运行多个scrapy实例时,我会得到Crawlera的429个响应。
有没有办法限制scrapyd的并发请求总数,这样我仍然可以使用蜘蛛单独运行时的最大值,但是当我同时拥有多个时限制?
我知道我可以将每个scrapy spider的最大并发请求设置为crawlera_max / max_num_of_spiders,但是当蜘蛛单独运行时,这个限制太多了。
提前谢谢你, Aimilios