如何在Scrapy中修复403响应

Question

http://prntscr.com/o56670

请检查屏幕截图

我正在使用python 3并在终端中使用scrapy。

fetch（“ https://angel.co/adil-wali”）

当请求链接时，它以403响应。

所以我已更改并轮换了用户代理，并且机器人服从错误，但仍显示403响应，因此这次我购买了爬虫计划，但爬虫仍说523响应

您是否知道为什么请求在scrapy shell中返回403而不是200的响应

Answer 1

尝试将标头添加到您的请求中

fetch(
    "https://angel.co/adil-wali", 
    headers={
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
        "accept-language": "en-US,en;q=0.9,ru-RU;q=0.8,ru;q=0.7",
        "cache-control": "no-cache",
        "pragma": "no-cache",
        "upgrade-insecure-requests": "1"
    }
)

通过这种方法，我能够从提到的URL获得响应200。