检索动态网站的来源＆＃39;在java中

Question

我正在尝试检索www.lifehack.org的内容

我尝试使用Jsoup（失败），然后使用JBrowserDriver（也失败） - ＆gt;内容总是“掩盖”＃39;通过javascript。

有没有办法在java中检索HTML内容？

不起作用的示例：

POM：

Moderate

爪哇：

<groupId>com.machinepublishers</groupId>
<artifactId>jbrowserdriver</artifactId>
<version>0.17.9</version>

Answer 1

JWebBrowserDriver实际上将使用javascript检索并在内部呈现网页，但您必须通过JWebBrowserDriver API与该网页进行互动。

例如，打印所有文字链接：

driver.findElements(By.xpath("//a[. != '']"))
        .forEach(e -> System.out.println(e.getText()));