尝试通过POST方法进行身份验证python webscraping

Question

尝试在python中自动登录此网站：https://app.rotoql.com/tools/dk/nba/optimizer

您需要通过身份验证才能访问该页面。我决定检查开发人员控制台，看看我是否能以某种方式使用python进入页面，以便我可以进行webscrape。

这是控制台中的样子：

所以我写了相应的python代码：

LoginURL = 'https://api.rotoql.com/app/user/login'
RequestURL = 'https://app.rotoql.com/tools/dk/nba/players'
session = requests.Session()
data = {"email":"jac1008@wildcats.unh.edu","password":""}
session.post(LoginURL, data=data)
r = session.get(RequestURL)
print(r.content)

（拔出密码）

但我回来的唯一页面是“需要登录”和“＃39;页。有没有人知道我将如何实现这一目标？我一直在谷歌搜索，似乎我正在正确发送数据有效负载，我也在使用发布请求，但它似乎没有用。

有人有什么想法吗？ 谢谢！

Answer 1

您还必须提供带user-agent的标题，并告诉服务器该请求来自浏览器

从Request Header值

创建头字典

head={'User-Agent':'Mozilla....', ....}

然后

session.post(LoginURL, data=data,headers=head)

这对我有用。