Scrapy网站在加载后重定向到404

Question

我正在尝试抓取一个时尚网站，但是，当我尝试渲染我想要从scrapy shell抓取的页面时，我会看到它首先加载页面然后将其重定向到404页面。 这是我跑的命令

scrapy shell -s USER_AGENT='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36' 'http://www.asos.com/search/circle%20skirt?currentpricerange=10-95&q=circle%20skirt&refine=attribute_900:1573'

我也尝试添加标题和Cookie，但似乎没有任何效果，页面会重定向到404.我该怎么办？

Answer 1

得到了解决方案，正如furas所评论的那样，响应。我拥有了我需要的所有东西，唯一的原因是视图（响应）不起作用导致网站需要加载JS的东西并导致404.感谢帮助furas