AUTOTHROTTLE是否会覆盖DOWNLOAD_DELAY?

时间:2018-07-04 20:33:02

标签: python web-scraping scrapy

AUTOTHROTTLE的Scrapy文档说:“ AutoThrottle扩展程序可调整下载延迟。”然后,“节流算法”部分中的文档继续指出“下载延迟不能小于DOWNLOAD_DELAY或大于AUTOTHROTTLE_MAX_DELAY”,因此我假设可以将它们用于彼此结合?

我想知道AUTOTHROTTLE是否覆盖DOWNLOAD_DELAY,如果值复合,或者两个设置是否可以相互结合使用?到底是哪种情况?

1 个答案:

答案 0 :(得分:2)

  

AutoThrottle扩展程序支持以下标准的Scrapy设置:   并发和延迟。这意味着它将尊重   CONCURRENT_REQUESTS_PER_DOMAINCONCURRENT_REQUESTS_PER_IP选项   并且永远不会将下载延迟设置为低于DOWNLOAD_DELAY

我在文档中找到了此注释,可能会解决您的查询。