我使用Crawlera作为代理管理器，但它的并发请求数量有限。当一个爬虫运行时（使用报废），我保持在该限制之下，所以我没有错误。但是，当使用scrapyd同时运行多个scrapy实例时，我会得到Crawlera的429个响应。
有没有办法限制scrapyd的并发请求总数，这样我仍然可以使用蜘蛛单独运行时的最大值，但是当我同时拥有多个时限制？
我知道我可以将每个scrapy spider的最大并发请求设置为crawlera_max / max_num_of_spiders，但是当蜘蛛单独运行时，这个限制太多了。
提前谢谢你， Aimilios