从需要标头= {'user-agent','cookie',x-xsrf-token'}

时间:2019-11-14 00:50:56

标签: python selenium web-scraping python-requests

  • 有一台包含我需要的json数据集的服务器
  • 我可以手动使用chrome登录 网址,并使用 chrome开发人员工具读取所述json数据的请求标头
  • 我确定应发送到json终结点的最小必需标头是 ['cookie','x-xsrf-token','user-agent']
  • 我不知道如何获取这些值,以便可以自动获取这些数据。我想使用请求模块获取数据
  • 我尝试使用selenium,导航到显示这些标头值的网页,但无法获取所述标头值(不确定selenium是否支持此标头)
  • 有没有办法让我使用请求模块来获取这些标头值...可以这么说,就是遵循请求标头“面包屑”?
  • 在这方面是否有替代模块?
  • 请注意,我已经使用硒成功获取了所需的数据点,但是硒资源丰富并且容易崩溃。
  • 通过将请求模块与标头值一起使用,极大地简化了工作流程并使我的脚本可靠

1 个答案:

答案 0 :(得分:0)

基于pguardiario的评论

当对原URL发出请求时,主机会提供

会话cookie和csrf令牌。这些值是使用JSON有效负载针对端点进行后续请求所必需的。通过对原始URL使用request.session(),然后在使用request.get(url, header )时更新 header 。我能够访问json数据