urllib获取HTML但缺少数据

时间:2015-07-04 07:46:17

标签: python python-2.7 urllib2

对,基本上我正在显示HTML,它在普通浏览器中显示我正在寻找的数据,但在带有urllib的HTML转储中却没有。

示例网址:https://betfred.mobi/sports/horses/event/4315034.2

示例数据:马名称如“她不是女士”

在浏览器下显示正常。不需要任何登录或预先存在的cookie或任何东西。

我想也许它正在等待看到一个真正的用户代理或其他什么,但这也应该没问题。我正在设置一个,我已经检查过 - 它正在工作。

scope.$watch("[convertFrom, convertTo]", function(n) {
    ngModel.$modelValue = '';
});

它显示了一些正常的东西,我正在获取该网站的HTML转储,但例如马名称没有出现。

我在这里错过了一些令人眼花缭乱的东西吗?

1 个答案:

答案 0 :(得分:0)

如果您需要使用Javascript处理网页,请尝试使用WATIRSelenium - 那些驱动真实的网络浏览器,因此可以处理任何Javascript。 WATIR Classic需要安装了某个扩展程序的IE或Firefox,并且您会看到页面在屏幕上闪烁。

目前,Mechanize并不处理JavaScript。

您的另一个选择是了解违规页面上的Javascript并手动绕过它,但这看起来很麻烦。