以下是与Mechanize的链接

时间:2013-01-23 16:20:38

标签: python web-scraping beautifulsoup mechanize

我想使用Mechanize python库来关注网站中的某些链接,但我唯一感兴趣的链接是<div>标记中的链接。 This问题是相关的,但是他们使用我不熟悉的lxml解析器来实现它,我使用BeautifulSoup更加舒服。

我已经使用BeautifulSoup找到了相关链接,但我不知道如何使用Mechanize(或其他)来关注这些链接。有没有办法将字符串传递给Mechanize,以便它可以跟随它?

2 个答案:

答案 0 :(得分:1)

简单的open()应该足够了:

br.open('http://google.com')

答案 1 :(得分:1)

import mechanize
response = mechanize.urlopen("http://example.com/")
content = response.read() #The content is the code of the page (html)

或者,如果你想添加标题之类的东西:

import mechanize
request = mechanize.Request("http://example.com/")
response = mechanize.urlopen(request)
content = response.read() #The content is the code of the page (html)