使用ruby搜寻动态内容

时间:2018-07-16 15:01:41

标签: ruby web-crawler dynamic-content

我正在使用ruby gems(nokogiri和mechanize)制作一个网站的爬网程序,但是该网站包含在点击按钮时动态生成的引导程序模式(弹出窗口)。

(模态形式的)此内容显示在按钮单击上,该按钮在某些URL上使用“获取”方法。

我通过抓取与按钮关联的URL得到响应 但是我只是得到了相同的页面资源。

如何使用“红宝石”获得动态内容的内容?

1 个答案:

答案 0 :(得分:0)

您所描述的模态很有可能用Js呈现。因此,您要查找的内容是不可能的,因为提到的库无法执行Js。

为了解析内容依赖于Js的页面,您应该使用其他工具,例如puppeteer