从chrome复制请求到curl时为403

时间:2018-11-01 08:14:08

标签: curl web-scraping scrapy

试图抓取网站。大约一个月前,它运行良好,但即使从chrome开发工具复制了curl请求,它现在仍给出403响应。这些请求仍然可以在浏览器中和通过邮递员使用。 该网站是kohls.com

2 个答案:

答案 0 :(得分:1)

也许尝试使用某些代理,看起来它们确实用403回答了一些IP池。

答案 1 :(得分:0)

您被用户代理阻止。尝试使用-A标志和-L标志进行设置,以遵循如下重定向:

curl -v  -L -A "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" https://kohls.com