使用Mechanize将HTML注入页面

时间:2013-01-14 14:00:12

标签: javascript python html web-scraping mechanize

我正在写一个网络搜索程序,以从网站上获取我的成绩。我使用Mechanize登录页面并导航到我正在抓取的区域。不幸的是,该页面使用Javascript加密页面(可能阻止我刮擦)。我找到了解密脚本并移植到Python。它工作,我用它从页面中提取加密的字符串,当我转换它,它成为HTML格式的表。

所以,为了达到我的目的,有没有办法将HTML注入页面并使用mechanize来使用表格上的链接来获得我的成绩?

感谢您的帮助!

编辑:如果有任何帮助,我也有美味的汤。

1 个答案:

答案 0 :(得分:0)

我最终只是使用了这个:

response = br.open("www.linknotonpagethatiwanttogoto.com")
page = response.read()

我发现你将链接的.open()存储为响应,而不是使用.follow_link()。此外,浏览器使用相同的cookie,以便保留会话cookie。因此,在解析html后,我将链接弹出到.open()并获得新页面。