如何运行多个scrapyd服务器？

Question

我一直在搜索有关Scrapyd服务的文档，但它非常苗条。我想知道是否有人知道如何设置指向相同调度队列的多个Scrapyd服务器？

Answer 1

我不知道任何“保存计划队列”，但打开几个屏幕并运行scrapy server可以轻松运行多个报废。

您可以通过在PROJECT_DIRECTORY / scrapyd.conf中设置/更改以下选项来调整报废的端口号：

[scrapyd]
http_port = 6969

通过http://doc.scrapy.org/en/latest/topics/scrapyd.html#starting-scrapyd

Answer 2

使用相同的sqlite数据库怎么样？ dbs_dir在scrapyd.script._get_config()中设置。