Question

我正在尝试使用Jsoup从网站获取数据表： http://aws.amazon.com/ec2/pricing/

我需要从表中获取数据，我正在尝试第一个表开始，但页面会在一段时间后加载表。

Document doc = Jsoup.connect(html).get();
Elements tableElements = doc.select("table");
Elements tableHeaderEles = tableElements.select("thead tr th");
Elements tableRowElements = tableElements.select(":not(thead) tr");
Instance ins = new Instance();
for (int i = 0; i < tableRowElements.size(); i++) {
    Element row = tableRowElements.get(i);
    System.out.println("row");
    Elements rowItems = row.select("td");
    for (int j = 0; j < rowItems.size(); j++) {
        System.out.println(rowItems.get(j).text());
    }
    System.out.println();
}

Answer 1

您无法获得所需内容的原因是：某些内容由Ajax加载，Jsoup无法识别。

请参阅Fetch contents(loaded through AJAX call) of a web page，它会显示 HtmlUnit 等等，适合您。

Answer 2

<强> Jsoup ：

为您的连接添加userAgent和超时。
确保正确获取源代码。
在http://try.jsoup.org/上试用您的CSS Selector查询。

<强> PhantomJSDriver ：

如果问题是由Javascript引起的（因为JSoup不支持Javascript），那么我建议使用Selenium + PhantomJSDriver（Ghostdriver），它用于 GUI-less 浏览器自动化。通过这种方式，您可以轻松浏览页面，选择元素，提交表单以及执行一些抓取。 也支持Javascript。

您可以通过Selenium文档here。您必须下载phantomjs.exe文件。

在here

中给出了一个很好的PhntomJSDriver教程

PhantomJSDriver的配置（来自教程）：

DesiredCapabilities caps = new DesiredCapabilities();
caps.setJavascriptEnabled(true); // not really needed: JS enabled by default
caps.setCapability(PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY, "C://phantomjs.exe");
caps.setCapability("takesScreenshot", true);
WebDriver driver = new PhantomJSDriver(caps);

使用Jsoup获取亚马逊数据价格表

2 个答案: