按照scrapy中的重定向链接进行操作

Question

我怎么设置这个？我写了handle_httpstatus_list = [301,302,303]，但scrapy没有跟随新链接，它只是开始保存页面的空文件。

P.S。英语不是我的母语。为此我就这样。

Answer 1

您还需要在请求中提及dont_redirect = true：

meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]}

此致

Answer 2

默认情况下，Scrapy会处理重定向，这意味着在DOWNLOADER_MIDDLEWARES设置中激活了RedirectMiddleware，并且REDIRECT_ENABLED设置设置为True。