解析购物网站使用jsoup

Question

我有以下代码：

doc = Jsoup.connect("http://www.amazon.com/gp/goldbox").userAgent("Mozilla").timeout(5000).get();

  Elements hrefs = doc.select("div.a-row.layer");
  System.out.println("Results:"+ hrefs); //I am trying to print out contents but not able to see the output.

问题：想要在类名为“a-row layer”的div中显示所有图像src。但是，我无法看到输出。

我的查询有什么错误？

Answer 1

我看过网站并亲自测试过。问题似乎是您想要提取的html代码（div.a-row.layer）是由 JavaScript 生成的。

Jsoup不支持JavaScript，也无法解析由它生成的JavaScript。您需要无头网络浏览器来处理此问题，例如HTMLUnit。