在Ruby中获取完整的HTML页面（包括AJAX响应）

Question

我正在尝试抓取电子商务目录，其中使用Ajax响应加载产品数据。

因此，使用get请求的响应内容不完整（部分数据）。

我使用Ruby的默认HTTP库来获取＆amp; Nokogiri用于解析。

有没有办法，我可以发起请求＆amp;一段时间后记录回应？

Answer 1

你需要一个libary /方法/方式，它有一个javascript引擎来执行javascript，因为使用了ajax（如果你想让它自动完成）。

您可以像phantomjs一样使用无头浏览器：

PhantomJS Project Homepage

PhantomJS for Ruby

Wiki Article

它基本上是没有前端的普通浏览器。 PhantomJS使用Webkit Engine（例如Safari使用）。 所以它能够执行JS，因此也是AJAX。