Scrapy：如何处理网站是否被阻止抓取

时间：2020-10-17 06:07:29

标签： web-scraping scrapy web-crawler

我正在使用Scrapy爬行网站，但出现404错误。我认为该网站已被阻止抓取。我如何设法绕过它？这是我要抓取的网站https://tiki.vn/

这就是我得到的结果 enter image description here

1 个答案:

答案 0 :(得分：0)

我的问题是我发送的请求被网站拒绝，因为它是机器人请求。我只需要在请求中添加自定义标头即可解决问题

相关问题
最新问题