解析登录受保护页面的HTML内容

时间:2016-02-18 08:30:37

标签: python parsing selenium web-scraping web-crawler

是否可以解析登录受保护页面的HTML内容?

喜欢这个页面 - https://www.diabetesdaily.com/forum/members/coravh-201/

快速测试代码:

import urllib2
address = 'https://www.diabetesdaily.com/forum/members/coravh-201/'
website = urllib2.urlopen(address)
website_html = website.read()

1 个答案:

答案 0 :(得分:1)

如果您只想获取网页内容,只需使用pyrequests模块:

即可
import requests
requests.get('https://username:password@www.diabetesdaily.com/forum/members/coravh-201/').content

在shell中安装pyrequests模块使用pip install requests