Python网页抓取,无法“点击”下一页

时间:2012-02-02 22:12:58

标签: python web-scraping

我正在抓取页面上的数据,填写表单字段如下:

url = 'http://www.theurl.co.uk/Enquiry.asp'

values = {'PageSize' : '20', 'SortField' : '1', 'SortOrder' : 'ASC'}

data = urllib.urlencode(values)          
req = urllib2.Request(url, data)
source = urllib2.urlopen(req)

soup = BeautifulSoup(source)

然后从汤中提取我的数据。我的问题是,我需要移动到接下来的20个结果,下一页按钮由源中的以下行控制:

<input type="submit" name="Action" value=" > " style="font-family: Verdana; font-size: 8pt; color: #000080; font-weight: bold">

如果不转向使用机械化(我之前没有使用过),我怎么能这样做呢;这有可能吗?

非常感谢

1 个答案:

答案 0 :(得分:0)

查找表单元素操作属性。如果没有,那么它将使用相同的URL。我敢打赌,你需要使用表单数据中的页码值。