Mechanize无法正确加载页面

Question

我想抓一些网站的页面：Marketbook.ca 所以我用于机械化。但它不能正确加载页面。它返回一个空体的页面，如下面的代码所示：

require 'mechanize'
agent = Mechanize.new
agent.user_agent_alias = 'Linux Firefox'
agent.get('http://www.marketbook.ca/list/list.aspx?ETID=1&catid=1001&LP=MAT&units=imperial')

这可能是什么问题？

Answer 1

实际上这个页面需要JS引擎来显示内容：

<noscript>Please enable JavaScript to view the page content.</noscript>

Mechanize不会使用JS处理页面，因此您最好选择其他选项，例如Selenium或WATIR。两者都需要一个真正的网络浏览器来操纵。

另一个选择是查看包含的JS脚本，找出数据的来源，并在可能的情况下查询该网络资源。