Python scrapy，如何在单个蜘蛛中的每个请求之间做一个随机延迟？

Question

我有一只蜘蛛，我想在每次请求之间有一个延迟，但我不希望它是一个固定的数字，而不是两个边界之间的随机时间，我该怎么做？

Answer 1

首先，避免使用time.sleep，因为它会阻止Twisted reactor，从而消除了Scrapy并发的所有优点。

默认情况下，Scrapy的DOWNLOAD_DELAY设置会在0.5 * DOWNLOAD_DELAY和1.5 * DOWNLOAD_DELAY秒之间的范围内添加随机延迟。此行为由RANDOMIZE_DOWNLOAD_DELAY设置管理，默认情况下为true。

文档：https://doc.scrapy.org/en/latest/topics/settings.html#std:setting-DOWNLOAD_DELAY

Answer 2

随机睡一觉时间：

{{1}}