我在哪里可以找到JOBDIR变量

时间:2014-01-27 16:00:56

标签: python python-2.7 scrapy

根据此问题How Scrapy filters the crawled urls? JOBDIR 变量

定义的目录中有一个名为requests.seen的文件

请问我在哪里可以找到JOBDIR变量?

1 个答案:

答案 0 :(得分:2)

根据official tutorial(Jobs: pausing and resuming crawls),可以从命令行设置JOBDIR:

scrapy crawl somespider -s JOBDIR=crawls/somespider-1