python - 我在哪里可以找到JOBDIR变量 - Thinbug

我在哪里可以找到JOBDIR变量

时间：2014-01-27 16:00:56

标签： python python-2.7 scrapy

根据此问题How Scrapy filters the crawled urls?， JOBDIR 变量

定义的目录中有一个名为requests.seen的文件

请问我在哪里可以找到JOBDIR变量？

1 个答案:

答案 0 :(得分：2)

根据official tutorial(Jobs: pausing and resuming crawls)，可以从命令行设置JOBDIR：

scrapy crawl somespider -s JOBDIR=crawls/somespider-1