Python Post形成具有防刮保护功能

时间:2011-10-12 01:23:53

标签: python web-scraping

尝试使用Python从网站上删除内容,使用用户名和密码进行简单的表单身份验证,但还有一个名为“foil”的隐藏字段,每次加载页面时都包含一个看似随机生成的字符串。为了成功登录,该值必须包含在帖子的内容标题中。我已经尝试在登录页面加载后删除随机字符串,但仍然将我重定向回登录。我有一个有效的用户名和密码,适用于有效的网站,但它偶尔更新,我想在发生变化时给自己发送电子邮件。这是我到目前为止一直在使用的代码......

import urllib, urllib2, cookielib,subprocess

url='https://example.com/login.asp'

username='blah'
password='blah'

request = urllib2.Request(url)
opener = urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1))
preData = opener.open(request).readlines()
for line in preData:
    if("foil" in line):
        foils = line.split('"')
        notFoiled = foils[3]

query_args={'location':'','qstring':'','absr_ID':notFoiled,'id':username,'pin':password,'submit':'Sign In'}
requestWheader = urllib2.Request('https://example.com/login.asp')
requestWheader.add_data(urllib.urlencode(query_args))
print 'Request method after data :', requestWheader.get_method()

print
print 'OUTGOING DATA:'
print requestWheader.get_data()

print
print 'SERVER RESPONSE:'
print urllib2.urlopen(requestWheader).read()
rawRes = urllib2.urlopen(requestWheader).read()

表格看起来像这样......

<form name="loginform" method="post" action="https://example.com/login.asp?x=x&amp;&amp;pswd=">
<input type=hidden name="location" value="">
<input type=hidden name="qstring" value="">
<input type=hidden name="absr_ID" value="">
<input type=hidden name="foil" value="91fcMO">
<input type="text" name="id" maxlength="80" size="21" value="" mask="" desc="ID" required="true">
<input type="submit" name="submit" value="Sign In" onClick="return checkForm(loginform)">
<input type="password" name="pin" size="6" maxlength="6" desc="Pin" required="true">

1 个答案:

答案 0 :(得分:2)

您导入cookielib但似乎您没有使用任何CookieJar

jar = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(jar))

然后对初始表单提取和登录表单提交使用相同的opener。我假设这是一个基于cookie的保护,其中来自foil字段的值必须与标题中的cookie匹配。

我在代码中注意到的另一件事是您将notFoiled分配给absr_ID而不是foil。这是故意的吗?

另外,请帮自己一个忙,并使用html5libBeautifulSoup而不是手动解析HTML。