更改正在运行的蜘蛛scrapyd的数量

Question

嘿所以我的项目中有大约50只蜘蛛，我目前正在通过scrapyd服务器运行它们。我遇到了一个问题，我使用的某些资源被锁定并使我的蜘蛛失败或变得非常慢。我希望他们可以通过某种方式告诉scrapyd，一次只有一个正在运行的蜘蛛，剩下的就在待处理的队列中。我在文档中没有看到配置选项。任何帮助将不胜感激！

Answer 1

这可以由scrapyd settings控制。将max_proc设为1：

  

max_proc

     

将开始的最大并发Scrapy进程数。