Scrapyd暂停/继续工作

时间:2017-09-26 05:50:15

标签: python scrapy scrapyd

看起来没有合法的方法来暂停/继续使用Scrapyd,就像Scrapy本身一样(scrapy crawl spider -s JOBDIR = jobdir / spider-1)。 我发现的唯一解决方案是:

https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ

但我不明白这个想法。

那么可以暂停/继续使用Scrapyd吗?

感谢您的时间

1 个答案:

答案 0 :(得分:1)

这个想法如下:

当您从cmd运行蜘蛛时,您可以粘贴其他参数,例如:scrapy crawl myspider -s JOBDIR=crawls/somespider-1

在端点Scrapyd中使用schedule.json时,您还可以粘贴一些设置。如果您使用的是scrapyd-client,则会如下所示:

s = {'JOBDIR': 'crawls/somespider-1'}
job = api.schedule(project_name, spider_name, settings=s)

之后,您可以取消工作。下次,当你将运行相同的工作 - scrapyd恢复以前的工作