如何设置Scrapy并使其逐个爬行？

Question

如何设置Scrapy并使其逐个爬行？首先，请查看下面的代码：

react-redux

当我运行这个蜘蛛时，它在同一时刻抓取了多个网址。事实上，这个网站我以这种方式爬行防御。所以我想知道是否有设置将scrapy设置为逐个抓取网址？

Answer 1

您可以在设置中将CONCURRENT_REQUEST和CONCURRENT_REQUESTS_PER_DOMAIN都设置为1。