我有一个包含表格的网页,其中每一行都有类vc_row_odd或vc_row_even,就像这样。该表有大约3000行,但使用jsoup我只检索其中的一半。 我查看了源页面,并且行看起来始终如一。为什么jsoup选择器找不到我想知道的所有行?
以下是我的jsoup代码:
Document doc = Jsoup.connect(url).header("Authorization",
"Basic " + base64login).timeout(10 * 1000).get();
Elements trs = doc.select("tr[class~=vc_row_(odd|even)]");
logger.debug("Size trs " + trs.size());
<tr class="vc_row_odd">
<td>...</td>
<td>...</td>
<td>...</td>
<td>...</td>
</tr>
<tr class="vc_row_even">
<td>...</td>
<td>...</td>
<td>...</td>
<td>...</td>
</tr>
答案 0 :(得分:1)
找到将maxSizeLimit设置为零的解决方案 http://jmchung.github.io/blog/2013/10/25/how-to-solve-jsoup-does-not-get-complete-html-document/
答案 1 :(得分:0)
我自己遇到了这个问题,现有自我解答中的链接已死,但是根据最新的存档版本[1],该选项称为maxBodySize [2],而不是maxSizeLimit。默认值为1MB,将其设置为零会关闭限制。
Document doc = Jsoup.connect(DATA_URL).maxBodySize(0).get();
来源: