试图抓取网站。大约一个月前,它运行良好,但即使从chrome开发工具复制了curl请求,它现在仍给出403响应。这些请求仍然可以在浏览器中和通过邮递员使用。 该网站是kohls.com
答案 0 :(得分:1)
也许尝试使用某些代理,看起来它们确实用403回答了一些IP池。
答案 1 :(得分:0)
您被用户代理阻止。尝试使用-A标志和-L标志进行设置,以遵循如下重定向:
curl -v -L -A "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" https://kohls.com