目的:
我想在禁止时快速发送请求,然后一旦我得到200响应,我希望请求速率减慢。 (我这样做是为了测试代理IP地址池中的哪些IP地址被域列入黑名单。并且可以通过良好的代理IP礼貌地提出多少请求。)
DOWNLOAD_DELAY
settings.py
在Scrapy中,有DOWNLOAD_DELAY
个设置可以处理请求的发送速度。
问题1:蜘蛛启动后似乎无法更改设置?
ipdb> spider.crawler.settings.set('DOWNLOAD_DELAY', 3)
*** TypeError: Trying to modify an immutable Settings object
问题2:有关采取其他方法的建议吗?