Question

我有一个KeywordCount类，用于对给定的句子进行标记，并使用Apache OpenNLP-POS标记器的maxent标记器对其进行标记。我先将输出标记，然后将其输入标记器。在jar完成任务后，我有一个RAM使用率高达165 MB的问题。程序的其余部分只是进行数据库调用并检查新任务。我把漏洞隔离到了这个班级。您可以安全地忽略Apache POI Excel代码。我需要知道你们中是否有人能在代码中找到漏洞。

public class KeywordCount {
Task task;
String taskFolder = "";
List<String> listOfWords;

public KeywordCount(String taskFolder) {
    this.taskFolder = taskFolder;
    listOfWords = new ArrayList<String>();
}

public void tagText() throws Exception {
    String xlsxOutput = taskFolder + File.separator + "results_pe.xlsx";

    FileInputStream fis = new FileInputStream(new File(xlsxOutput));
    XSSFWorkbook wb = new XSSFWorkbook(fis);
    XSSFSheet sheet = wb.createSheet("Keyword Count");
    XSSFRow row = sheet.createRow(0);
    Cell cell = row.createCell(0);

    XSSFCellStyle csf = (XSSFCellStyle)wb.createCellStyle();
    csf.setVerticalAlignment(CellStyle.VERTICAL_TOP);
    csf.setBorderBottom(CellStyle.BORDER_THICK);
    csf.setBorderRight(CellStyle.BORDER_THICK);
    csf.setBorderTop(CellStyle.BORDER_THICK);
    csf.setBorderLeft(CellStyle.BORDER_THICK);
    Font fontf = wb.createFont();
    fontf.setColor(IndexedColors.GREEN.getIndex());
    fontf.setBoldweight(Font.BOLDWEIGHT_BOLD);
    csf.setFont(fontf);



    int rowNum = 0;
    BufferedReader br = null;
    InputStream modelIn = null;
    POSModel model = null;
    try {
      modelIn = new FileInputStream("taggers" + File.separator + "en-pos-maxent.bin");
      model = new POSModel(modelIn);
    }
    catch (IOException e) {
      // Model loading failed, handle the error
      e.printStackTrace();
    }
    finally {
      if (modelIn != null) {
        try {
          modelIn.close();
        }
        catch (IOException e) {
        }
      }
    }
    File ftmp = new File(taskFolder + File.separator + "phrase_tmp.txt");
    if(ftmp.exists()) {
        br = new BufferedReader(new FileReader(ftmp));
        POSTaggerME tagger = new POSTaggerME(model);
        String line = "";
        while((line = br.readLine()) != null) {
            if (line.equals("")) {
                break;
            }
            row = sheet.createRow(rowNum++);
            if(line.startsWith("Match")) {
                int index = line.indexOf(":");
                line = line.substring(index + 1);
                String[] sent = getTokens(line);
                String[] tags = tagger.tag(sent); 
                for(int i = 0; i < tags.length; i++) {
                    if (tags[i].equals("NN") || tags[i].equals("NNP") || tags[i].equals("NNS") || tags[i].equals("NNPS")) {
                        listOfWords.add(sent[i].toLowerCase());
                    } else if (tags[i].equals("JJ") || tags[i].equals("JJR") || tags[i].equals("JJS")) {
                        listOfWords.add(sent[i].toLowerCase());
                    }
                }

                Map<String, Integer> treeMap = new TreeMap<String, Integer>();
                for(String temp : listOfWords) {
                    Integer counter = treeMap.get(temp);
                    treeMap.put(temp, (counter == null) ? 1 : counter + 1);
                }
                listOfWords.clear();
                sent = null;
                tags = null;
                if (treeMap != null || !treeMap.isEmpty()) {
                    for(Map.Entry<String, Integer> entry : treeMap.entrySet()) {
                        row = sheet.createRow(rowNum++);
                        cell = row.createCell(0);
                        cell.setCellValue(entry.getKey().substring(0, 1).toUpperCase() + entry.getKey().substring(1));
                        XSSFCell cell1 = row.createCell(1);
                        cell1.setCellValue(entry.getValue());
                    }
                    treeMap.clear();
                }
                treeMap = null;
            }
            rowNum++;
        }
        br.close();
        tagger = null;
        model = null;
    }
    sheet.autoSizeColumn(0);
    fis.close();

    FileOutputStream fos = new FileOutputStream(new File(xlsxOutput));
    wb.write(fos);
    fos.close();
    System.out.println("Finished writing XLSX file for Keyword Count!!");
}

public String[] getTokens(String match) throws Exception {
    InputStream modelIn = new FileInputStream("taggers" + File.separator + "en-token.bin");
    TokenizerModel model = null;
    try {
      model = new TokenizerModel(modelIn);
    }
    catch (IOException e) {
      e.printStackTrace();
    }
    finally {
      if (modelIn != null) {
        try {
          modelIn.close();
        }
        catch (IOException e) {
        }
      }
    }

    Tokenizer tokenizer = new TokenizerME(model);
    String tokens[] = tokenizer.tokenize(match);
    model = null;

    return tokens;
}

}

我的系统在165MB之后GC内存......但是当我上传到服务器时GC没有执行，它上升到480 MB（占RAM使用率的49％）。

Answer 1

首先，增加堆使用量并不是内存泄漏的证据。可能只是GC还没有运行。

话虽如此，但是只要“注意”你的代码，任何人都可以发现内存泄漏是值得怀疑的。解决这个问题的正确方法是＆gt;＆gt;你＆lt;＆lt;阅读有关查找Java内存泄漏的技术，以及＆gt;＆gt; you＆lt;＆lt;然后使用相关工具（例如visualvm，jhat等）自己搜索问题。

以下是有关查找存储泄漏的一些参考资料：

使用HotSpot VM的Java SE 6故障排除指南：排除内存泄漏。 http://www.oracle.com/technetwork/java/javase/memleaks-137499.html - 注1。
How to find a Java Memory Leak

^{注1：此链接可能会中断。如果是，请使用Google查找文章。}

我把漏洞隔离到了这个班级。您可以安全地忽略Apache POI Excel代码。

如果我们忽略Apache POI代码，潜在内存“泄漏”的唯一来源是保留单词列表（listOfWords）。（调用clear()将使其内容无效，但保留了支持数组，并且该数组的大小由最大列表大小决定。从内存占用的角度来看，最好用新的空替换列表列表。）

但是，如果您保留对KeywordCount实例的引用，那只是“泄漏”。如果你这样做是因为你正在使用该实例，我根本不会把它称为泄漏。

完成任务后，Jar会显示增加的RAM活动

1 个答案: