运行时更新scrapy蜘蛛

Question

我正在使用python scrapy包。有没有办法在蜘蛛运行时更新scrapy蜘蛛设置？我尝试使用telnet控制台并通过以下方式更新设置：

settings.set('AUTOTHROTTLE_ENABLED', False)

当我开始蜘蛛时，

'AUTOTHROTTLE_ENABLED'是真的。但是，在上面的命令之后，蜘蛛行为没有改变。我错过了什么？谢谢！

Answer 1

当引擎启动时加载Scrapy设置，无法动态更改。

我不确定您要实现的目标，但您应该考虑动态调整download_delay spider attribute。

此外，调查autothrottle extension source code可以帮助您提出更多选择。