Scrapyd:如何设置scrapyd任务优先级?

时间:2013-09-18 08:05:24

标签: python scrapy web-crawler scrapyd

我有几个scrapy项目。我用scrapyd部署了所有这些。有些蜘蛛很慢而有些蜘蛛很快。现在,我想首先运行快速蜘蛛。怎么办?

1 个答案:

答案 0 :(得分:9)

我遇到了同样的问题。但我读了scrapyd的源代码,看起来scrapyd可以处理它。但是,这没有记录。

您需要添加名为priority的参数并使用所需的值。默认优先级为0。

例如:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d priority=1