AUTOTHROTTLE
的Scrapy文档说:“ AutoThrottle扩展程序可调整下载延迟。”然后,“节流算法”部分中的文档继续指出“下载延迟不能小于DOWNLOAD_DELAY
或大于AUTOTHROTTLE_MAX_DELAY
”,因此我假设可以将它们用于彼此结合?
我想知道AUTOTHROTTLE
是否覆盖DOWNLOAD_DELAY
,如果值复合,或者两个设置是否可以相互结合使用?到底是哪种情况?
答案 0 :(得分:2)
AutoThrottle扩展程序支持以下标准的Scrapy设置: 并发和延迟。这意味着它将尊重
CONCURRENT_REQUESTS_PER_DOMAIN
和CONCURRENT_REQUESTS_PER_IP
选项 并且永远不会将下载延迟设置为低于DOWNLOAD_DELAY
。
我在文档中找到了此注释,可能会解决您的查询。