如何设置Scrapy设置?

时间:2015-07-09 19:46:20

标签: web-scraping scrapy scrapy-spider

我正在阅读http://doc.scrapy.org/en/latest/topics/settings.html的scrapy文档,但对“指定设置”部分感到困惑。有人能用简单的英语描述如何实施设置吗?我最初假设它只是对settings.py进行了修改,但似乎并非如此。我正在尝试进行下载延迟,因为我正在阻止我正在抓取的网站。谢谢!

1 个答案:

答案 0 :(得分:2)

嗯,描述有点令人困惑,但你是对的: settings.py 是添加设置的正确文件。但是有两个并行工作的设置:

DOWNLOAD_DELAYCONCURRENT_REQUESTS_PER_DOMAIN。对于后者,默认值为 8 。所以我会覆盖两者,它应该工作。

要阅读有关某些默认并发设置的更多信息,请参阅以下文档: http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-requests