Question

我有一些由Filemaker导出创建的html文件。每个文件基本上都是一个巨大的HTML表。我想遍历表行并将它们填充到数据库中。我尝试使用HTMLParser进行如下操作：

String inputHTML = readFile("filemakerExport.htm","UTF-8");
Parser parser = new Parser();
parser.setInputHTML(inputHTML);
parser.setEncoding("UTF-8");    
NodeList nl = parser.parse(null); 
NodeList trs = nl.extractAllNodesThatMatch(new TagNameFilter("tr"),true);
for(int i=0;i<trs.size();i++) {
    NodeList nodes = trs.elementAt(i).getChildren();
    NodeList tds  = nodes.extractAllNodesThatMatch(new TagNameFilter("td"),true);
    // Do stuff with tds
}

以上代码适用于1 Mb以下的文件。不幸的是我有一个4.8 Mbs的html文件，我得到一个内存不足的错误。

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
    at org.htmlparser.lexer.Lexer.parseTag(Lexer.java:1002)
    at org.htmlparser.lexer.Lexer.nextNode(Lexer.java:369)
    at org.htmlparser.scanners.CompositeTagScanner.scan(CompositeTagScanner.java:111)
    at org.htmlparser.util.IteratorImpl.nextNode(IteratorImpl.java:92)
    at org.htmlparser.Parser.parse(Parser.java:701)
    at Tools.main(Tools.java:33)

使用HTMLParser解决这个问题是否有更有效的方法（我对图书馆来说是全新的），还是应该使用不同的库或方法？

Answer 1

您是否尝试过增加JVM的最大堆大小

以下命令行参数将其增加到512 MB： -Xmx512M

E.g。

java -Xmx512M myrunclass

Answer 2

当您只想提取一些信息并且您不想执行某些XPath查询或其他类型的在DOM结构上表现最佳的查询（父子关系等）时，不要构建DOM。

使用Parser.visitAllNodesWith（）代替Prser.parse（）。

Answer 3

我遇到了同样的问题。似乎HtmlParser遭受内存泄漏问题和缺乏文档。使用JProfiler进行分析我注意到解析页面HtmlParser保存了它处理的html代码的链接。我尝试在解析结束时调用parser.reset（）。它没有帮助。我也看过测试代码，但没有找到提示。

因此，我通过调用parser.setInputHTML（“”）来大幅减少内存使用量;当我不再需要解析器对象时。

P.S。分析HtmlParser的源代码更好，但我没有时间：）

Answer 4

HTMLParser同时具有解析器和词法分析器。解析器构建内存模型，但词法分析器只是通知您文件中的标记。对于固定数据的简单提取，词法分析器可能是提取数据的最有效方式，您必须在遇到标记时跟踪html的结构。 HTMlParser库暂时没有发布，因此内存问题令人担忧，因为它们似乎不太可能得到修复。如果您需要高级解析，请尝试使用JSoup，因为它具有强大的查询语法并且非常易于使用。

如何使用Java HTMLParser库解析大型HTML文件

4 个答案: