我对scrapy非常满意并且最大限度地刮擦了。同时有150个工作岗位。 我正在使用旋转代理没有问题。我改变了max proc几次，然后刮了10个工作因为我刮的服务器不那么强大。 一段时间后，scrapyd只能同时运行2个工作。 我没有改变scrapyd配置中的任何东西。 这是我的scrapyd配置，存储在/etc/scrapyd/scrapyd.conf中。其他conf文件不存在。
[scrapyd]
items_dir = /root/scrapy/results/
max_proc = 0
max_proc_per_cpu = 10
jobs_to_keep = 4000000
如上所述，我没有随着时间的推移改变它。我用这个配置同时抓了10个作业。 Scrapyd daemonstatus说
{"status": "ok", "running": 2, "finished": 100, "pending": 7, "node_name": "..."}
我不明白，为什么报废停止做我应该做的事情。 我做了我能做的一切来解决它。 我在其他导演中运行报废，清除旧作业的项目和日志，但没有任何变化。我仔细检查了代理和蜘蛛代码。
什么可以让scrapyd停止同时运行更多的工作？ 我真的很绝望：s