如何更改scrapy请求队列大小？如何实现严格的DFO订单

Question

根据常见问题解答，Scrapy首先探索深度，但我注意到它会在运行任何更深层的请求之前处理来自start_urls的10到30个请求。

在处理start_urls之前，我可以更改参数并强制scrapy探索深度吗？

参考http://doc.scrapy.org/en/latest/faq.html#does-scrapy-crawl-in-breadth-first-or-depth-first-order

Answer 1

与Apalala suggested一样，如果您真的想使用Scrapy强制执行特定的请求顺序，那么inline requests是您的最佳选择。

根据设计，Scrapy并不意味着严格遵循请求顺序，对于大多数用例Request.meta，优先级（来自Request constructor）甚至您提到的DEPTH_PRIORITY setting足够。