Scrapy stats抓取页面和页面/分钟

Question

有人可以帮我理解scrapy统计数据。 我正在尝试优化aws实例的scrapy爬行速度。 我目前的scrapy抓取速度是INFO: Crawled 32429 pages (at 72 pages/min), scraped 197 items (at 0 items/min)
如果scrapy以72页/分钟的速度爬行，那么32429页是什么？绝对不是32429页/秒...

Answer 1

Crawled X pages它是Scrapy在抓取时收到的HTTP响应总量。

仅供参考，logstats module负责您在控制台上看到的报告。