看起来没有合法的方法来暂停/继续使用Scrapyd,就像Scrapy本身一样(scrapy crawl spider -s JOBDIR = jobdir / spider-1)。 我发现的唯一解决方案是:
https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ
但我不明白这个想法。
那么可以暂停/继续使用Scrapyd吗?
感谢您的时间
答案 0 :(得分:1)
这个想法如下:
当您从cmd
运行蜘蛛时,您可以粘贴其他参数,例如:scrapy crawl myspider -s JOBDIR=crawls/somespider-1
在端点Scrapyd
中使用schedule.json
时,您还可以粘贴一些设置。如果您使用的是scrapyd-client
,则会如下所示:
s = {'JOBDIR': 'crawls/somespider-1'}
job = api.schedule(project_name, spider_name, settings=s)
之后,您可以取消工作。下次,当你将运行相同的工作 - scrapyd恢复以前的工作