python scrapy 302（我要回原始页面）

Question

我要刮掉 https://movie.douban.com/subject/1292052/此页

但是网址重定向到 http://m.douban.com/movie/subject/1292052   我是如何回到第一页并使用第一页的解析方式（xpath）继续？ 谢谢！

Answer 1

您被重定向到移动网站的原因是您的用户代理不是已知的桌面浏览器。

您可以将USER_AGENT中的settings.py变量修改为USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'

如果您坚持不重定向，可以在meta的请求中添加{'dont_redirect': True, 'handle_httpstatus_list': [302]}变量。这样，您就不会被重定向。