如何使用身份验证来抓取数据，其中我的登录页面和配置文件具有相同的URL？

Question

我想从我的个人资料中抓取数据，但我使用的网站对于登录和个人资料都有相同的网址.so for this

import urllib, urllib2, cookielib

username = 'myuser'
password = 'mypassword'

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'username' : username, 'j_password' :  password})
opener.open('http://www.example.com/login.php', login_data)
resp = opener.open('http://www.example.com/hiddenpage.php')
print resp.read()

Answer 1

@Padraic坎宁安打败了我，但请求模块就是你所需要的

http://docs.python-requests.org/en/master/

import requests

username = 'myuser'
password = 'mypassword'

s = requests.session()
l = {'username': username,
           'j_password': password}
s.post('http://www.example.com/login.php', data=login)
s.get('http://www.example.com/hiddenpage.php')