我正在尝试使用Python Request模块解析页面。但是,问题在于它返回了403代码。
这是我要解析的页面。我使用谷歌浏览器调试并检查正在发送的请求标头,并将其设置为请求的一部分。但是我仍然收到403错误。
https://www.autotrader.ca/a/Honda/Accord+Sedan/Burlington/Ontario/5_42423732_ON20081215113610906/
这是我的代码。
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'accept-encoding':'gzip, deflate, br'
}
resp = requests.get("https://www.autotrader.ca/a/Honda/Accord+Sedan/Burlington/Ontario/5_42423732_ON20081215113610906/",
headers=headers)
print(resp.status_code)
更新: 如果从chrome inspector复制确切的cookie并设置在标头中,那么它将按预期工作。所以我认为我需要以某种方式生成Cookie,但不确定。