使用Mechanize处理动态加载内容的任何方法?

时间:2014-12-13 21:34:12

标签: html ruby web-scraping nokogiri mechanize

我试图从Steam获得一些游戏列表,但它还没有工作。基本上,页面默认加载"相关的第一页,"其URL如下所示:

http://store.steampowered.com/search/?auction=1#sort_by=_ASC&page=1&auction=1

如果我将URL更改为&page=2,则使用页面上的Inspect Element显示更新列表,但查看页面源(在Firefox和Nokogiri中)仍显示默认内容。

无论选择哪种排序选项或页面,页面源都不会更改,即使可见内容和浏览器内容源也是如此。有什么方法可以遍历页面并解析不同的列表,还是我无法控制的?

1 个答案:

答案 0 :(得分:1)

这是第2页的网址

http://store.steampowered.com/search/results?sort_by=_ASC&page=2&auction=1&snr=1_7_7_230_7

这应该就是您所需要的,解析与第1页相同。