如何让Mixnode Crawler爬得更慢？

Question

我们达到2000万页/小时，我真的很欣赏它的速度;但是，我担心我可能会对目标网站施加太大压力，我们是否有办法降低网站被抓取的速度？

Answer 1

不确定为什么您要降低速度，因为documentation明确指出：

  

发送到同一网站的请求之间存在最短延迟10秒。如果网站的robots.txt指令需要更长的延迟，Mixnode将遵循robots.txt指令指定的延迟时间。