使用Jsoup提取“隐藏”HTML

Question

我正在尝试获取未出现在源文档中但可以通过Google Chrome中的“inspect element”公开的HTML数据。

示例页面：http://assignment.uspto.gov/#/search?q=9000000&sort=patAssignorEarliestExDate%20desc%2C%20id%20desc&synonyms=false

有许多div元素包含美国专利号9,000,000的分配数据，它们出现在

行下面

<script async="async" type="text/javascript" src="https://components.uspto.gov/js/ais/2-2-assignment-search.js"></script>

有没有办法用Jsoup提取这个隐藏的HTML？

Answer 1

数据似乎加载了AJAX。 JSoup不处理Javascript。

你需要的是一个无头浏览器＆＃34; API，它处理Javascript而不实际呈现任何内容。

HtmlUnit似乎是最着名的工具，尽管我自己从未使用它。如前所述，Selenium Webdriver也是一种选择。

我相信您必须加载URL，等待所有AJAX处理，最终您将获得几乎与Java中的Chrome相同的解析树，以便随意使用它！

Answer 2

如果这是您需要的唯一信息，请点击JSON您要查找的信息的网址：

http://prod-proxy-lb-2117675230.us-east-1.elb.amazonaws.com/solr/aotw/search?json.wrf=jQuery1102004354461841285229_1448413727331&q=9000000&facet.date.other=before&rows=20&start=0&wt=json&facet.date.start=NOW%2FYEAR-50YEARS&fl=id%2CreelNo%2CframeNo%2CconveyanceText%2CpatAssigneeName%2CpatAssignorName%2CinventionTitleFirst%2CapplNumFirst%2CpublNumFirst%2CpatNumFirst%2CintlRegNumFirst%2CcorrName%2CcorrAddress1%2CcorrAddress2%2CcorrAddress3%2CpatAssignorEarliestExDate%2CfilingDateFirst%2CpublDateFirst%2CissueDateFirst%2CintlPublDateFirst%2CpatNumSize&hl.fl=reelNo%2CframeNo%2CpatAssigneeName%2CpatAssignorName%2CconveyanceText%2CinventionTitleFirst%2CapplNumFirst%2CpublNumFirst%2CpatNumFirst%2CintlRegNumFirst%2CcorrName%2CcorrAddress1%2CcorrAddress2%2CcorrAddress3&hl.requireFieldMatch=true&sort=patAssignorEarliestExDate+desc%2C+id+desc

通过检查Chrome开发者工具的“网络”标签检索了此内容，您可以使用HttpConnection获取此网址的内容。可以找到一个示例here。获取JSON文件后，您可以解析它以检索您需要的任何信息。