从可能通过Python使用Cookie的站点URL中提取HTML内容

时间:2017-03-02 15:05:29

标签: python web-scraping

我最近想从一个似乎使用cookie授予我访问权限的网站中提取数据。我不太了解这些程序,但显然这与我通过Python及其请求模块获取网站的html内容的方法有关。

我正在运行以提取信息的代码包含以下几行:

import responses
#...
response = requests.get(url, proxies=proxies)
content = requests.text

我所指的网站是http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=6675630&tag=1,代理是我的代理服务器的有效字典(我在似乎工作正常的网站上测试了这些设置)。但是,我不会收到本网站上文章的内容,而是收到您在浏览器中不接受cookie时获得的页面的html内容。

由于我并不是真正意识到网站真正在做什么并且缺乏真正的网络开发经验,所以到目前为止我找不到解决方案,即使之前可能会提出类似的问题。有没有解决办法通过Python访问本网站的内容?

1 个答案:

答案 0 :(得分:0)

startr = requests.get('https://viennaairport.com/login/')

secondr = requests.post('http://xxx/', cookies=startr.cookies)