Question

我正在尝试登录此网站：http://www.broadinstitute.org/cmap/index.jsp。我在Windows上使用python 3.3。我按照这个答案https://stackoverflow.com/a/2910487/651779。我的代码：

import http.cookiejar
import urllib

url = 'http://www.broadinstitute.org/cmap/index.jsp'
values = {'j_username' : 'username',
          'j_password' : 'password'}

data = urllib.parse.urlencode(values)
binary_data = data.encode('ascii')
cookies = http.cookiejar.CookieJar()

opener = urllib.request.build_opener(
    urllib.request.HTTPRedirectHandler(),
    urllib.request.HTTPHandler(debuglevel=0),
    urllib.request.HTTPSHandler(debuglevel=0),
    urllib.request.HTTPCookieProcessor(cookies))

response = opener.open(url, binary_data)
the_page = response.read()
http_headers = response.info()

它运行时没有错误，但the_page中的html只是登录页面。如何登录此页面？

Answer 1

该网站正在使用JSESSIONID cookie来创建会话，因为HTTP请求是无状态的。当您提出请求时，您首先没有获得该会话ID。

我嗅了一个会话，使用Fiddler登录该站点，发现POST是针对不同的URL，但是它设置了JSESSIONID cookie。因此，您需要首先获取URL，使用cookiehandler捕获该cookie，然后POST到此URL：

post_url = 'http://www.broadinstitute.org/cmap/j_security_check'

您根本不需要保存HTTP GET请求，只需调用opener.open（url），然后在您的代码中将响应行更改为：

response = opener.open(post_url, binary_data)

此外，有效负载缺少提交方法。以下是我建议的变化的全部内容：

import http.cookiejar
import urllib

get_url = 'http://www.broadinstitute.org/cmap/index.jsp'
post_url = 'http://www.broadinstitute.org/cmap/j_security_check'

values = urllib.parse.urlencode({'j_username': <MYCOOLUSERNAME>,
          'j_password': <MYCOOLPASSSWORD>,
          'submit': 'sign in'})
payload = bytes(values, 'ascii')
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(
    urllib.request.HTTPRedirectHandler(),
    urllib.request.HTTPHandler(debuglevel=0),
    urllib.request.HTTPSHandler(debuglevel=0),
    urllib.request.HTTPCookieProcessor(cj))

opener.open(get_url) #First call to capture the JSESSIONID
resp = opener.open(post_url, payload)
resp_html = resp.read()
resp_headers = resp.info()

使用您创建的开启者的任何其他请求将重新使用该cookie，您应该能够自由地浏览该网站。

如何使用urllib登录网站？

1 个答案: