使用scrapyd运行多个蜘蛛

Question

我的项目中有多个蜘蛛，因此决定通过上传到scrapyd服务器来运行它们。 我成功上传了我的项目，当我运行命令时我可以看到所有的蜘蛛

curl http://localhost:6800/listspiders.json?project=myproject

当我运行以下命令时

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

由于只提供了一个蜘蛛，只有一个蜘蛛运行，但我想在这里运行多个蜘蛛，所以以下命令适合在scrapyd中运行多个蜘蛛？

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider1,spider2,spider3........

后来我将使用cron job运行此命令，我的意思是我会安排这个经常运行

Answer 1

如果您想使用scrapyd运行多个蜘蛛，请逐个安排它们。 scrapyd将以相同的顺序运行它们，但不能同时运行它们。

另请参阅：Scrapy 's Scrapyd too slow with scheduling spiders