我正在阅读http://doc.scrapy.org/en/latest/topics/settings.html的scrapy文档,但对“指定设置”部分感到困惑。有人能用简单的英语描述如何实施设置吗?我最初假设它只是对settings.py进行了修改,但似乎并非如此。我正在尝试进行下载延迟,因为我正在阻止我正在抓取的网站。谢谢!
答案 0 :(得分:2)
嗯,描述有点令人困惑,但你是对的: settings.py 是添加设置的正确文件。但是有两个并行工作的设置:
DOWNLOAD_DELAY
和CONCURRENT_REQUESTS_PER_DOMAIN
。对于后者,默认值为 8 。所以我会覆盖两者,它应该工作。
要阅读有关某些默认并发设置的更多信息,请参阅以下文档: http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-requests