如何在登录后抓取网站?

时间:2021-01-12 21:04:48

标签: python web-scraping python-requests

我正在尝试抓取需要登录才能访问的登录页面。我当前的脚本(基于我找到的视频教程)返回 400 错误响应。 该网站的引荐来源政策是“严格来源时跨来源”,而我能找到的所有视频都处理“降级时不引荐来源”的政策,我认为这是导致错误。以下是我的脚本,我想知道需要进行哪些修改才能使其正常工作:

payload = {
   'username':username,
   'password':password
   }

url = "https://audiogo.adswizz.com/"
login = "api/v2/auth/login"

headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36', 
   'Origin':url,
   'Accept':'application/json, text/plain, */*',
   'Accept-Encoding':'gzip, deflate, br',
   'Accept-Language':'en-US,en;q=0.9',
   'Content-Type':'application/json;charset=UTF-8'}

s = requests.session()
s.post(url=url+login, headers = headers, data = payload)

0 个答案:

没有答案