Scrapy在抓取下一个URL之前完成重定向

Question

每当Scrapy获得302时，该操作将被添加为队列中的最后一项。有没有办法强制Scrapy完成重定向并在此之后处理下一个URL？

Answer 1

正如Tomáš在评论REDIRECT_PRIORITY_ADJUST中所述，控制重定向优先级。

但是，您使用默认scrapy设置描述的内容不应该发生，因为此设置默认为+2。默认情况下，所有scrapy请求都安排在0，因此所有重定向的请求都应优先于其他请求。

您可以使用priority参数安排个人请求优先级 例如，如果你想在100设置优先级，你可以这样写：

yield Request("http://someurl.com", priority=100)