如何获取不在html源中但在浏览器中可见的数据？

Question

我想要的数据在浏览器中可见，但我无法从html源代码中找到它。我怀疑数据是由脚本生成的。我想研究这样的数据。是否可以使用Jsoup？我知道Jsoup只是不执行Javascript。

以this page为例，我想抓住Academics下的所有大学和学校 - ＆gt;学院与学院的学校。

Answer 1

如果dom内容是通过脚本或插件生成的，那么你真的应该考虑像phantomjs这样的可编写脚本的浏览器。然后你可以写一些javascript来提取数据。

我没有检查您的链接，我认为您正在寻找一个不特定于任何页面的一般答案。