虽然Scrapy蜘蛛的实例正在爬行,但我们如何动态更改DOWNLOAD_DELAY设置?

时间:2017-04-20 23:17:46

标签: scrapy

目的:

我想在禁止时快速发送请求,然后一旦我得到200响应,我希望请求速率减慢。 (我这样做是为了测试代理IP地址池中的哪些IP地址被域列入黑名单。并且可以通过良好的代理IP礼貌地提出多少请求。)

DOWNLOAD_DELAY settings.py

在Scrapy中,有DOWNLOAD_DELAY个设置可以处理请求的发送速度。

问题1:蜘蛛启动后似乎无法更改设置?

ipdb> spider.crawler.settings.set('DOWNLOAD_DELAY', 3)
*** TypeError: Trying to modify an immutable Settings object

问题2:有关采取其他方法的建议吗?

0 个答案:

没有答案