试图解析javascript隐藏的html

Question

我创建了一个简单的java脚本，它使用Jsoup来解析数据页面。然而，网站创建者已经更改了页面，以至于如果页面上有一定数量的数据，它会为您提供优化搜索的意见，或者，您可以单击链接并显示数据。我一直在试图寻找一个解决方案，我的头发没有改变，链接的href只是javacript:void(0);。有没有什么方法可以使用我的脚本获取包含数据的html？

Answer 1

尝试使用能够驱动Selenium等网络浏览器的内容。这是我唯一使用的，从不需要任何其他东西。我确定有更多可能更适合你的，你应该测试一下，或者不是。一旦你用selenium（或你选择的任何web驱动程序）获取javascript元素，将它们解析为JSoup Elements。 这样您就不必完全更改库，只需添加一个。

此外，您还可以通过观察浏览器地址栏中的更改来解决javascript问题。

Answer 2

使用firefox或chrome的开发人员工具。当您单击链接时，可能会发出ajax调用。在网络选项卡上，您可以看到javascript实际请求的URL以及结果的结构（可能是json）。然后，您可以直接访问该URL以加载其余结果。

或者沿着这些方向的东西^^