Question

我对NLP很新，我正在使用GATE。如果我运行大数据集（包含7K +记录）的代码，我会收到OOM异常。下面是发生异常的代码。

    /**
 * Run ANNIE
 * 
 * @param controller
 * @throws GateException
 */
public void execute(SerialAnalyserController controller)
        throws GateException {
    TestLogger.info("Running ANNIE...");
    controller.execute();     /**** GateProcessor.java:217 ***/

    // controller.cleanup();
    TestLogger.info("...ANNIE complete");
}

这是日志：

    Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.HashMap.addEntry(Unknown Source)
at java.util.HashMap.put(Unknown Source)
at java.util.HashMap.putAll(Unknown Source)
at gate.annotation.AnnotationSetImpl.<init>(AnnotationSetImpl.java:111)
at gate.jape.SinglePhaseTransducer.attemptAdvance(SinglePhaseTransducer.java:448)
at gate.jape.SinglePhaseTransducer.transduce(SinglePhaseTransducer.java:287)
at gate.jape.MultiPhaseTransducer.transduce(MultiPhaseTransducer.java:168)
at gate.jape.Batch.transduce(Batch.java:352)
at gate.creole.Transducer.execute(Transducer.java:116)
at gate.creole.SerialController.runComponent(SerialController.java:177)
at gate.creole.SerialController.executeImpl(SerialController.java:136)
at gate.creole.SerialAnalyserController.executeImpl(SerialAnalyserController.java:67)
at gate.creole.AbstractController.execute(AbstractController.java:42)
at in.co.test.GateProcessor.execute(GateProcessor.java:217)

我想知道执行函数究竟发生了什么以及如何解决它。感谢。

Answer 1

在GATE中处理大型（或多个）文档可能需要大量内存，GATE需要大量空间来存储注释。另一方面，各种处理资源也需要大量内存：地名录，基于统计模型的标记等。

Gate开发人员GUI中的一个技巧是将文档语料库存储在数据存储中，然后仅加载语料库并运行管道。 GATE足够智能，一次加载一个文档，处理它，然后保存＆amp;打开下一个之前关闭它。（您可以先在数据存储中存储一个空语料库，然后从文件夹中“填充”它，这将再次逐个加载文档而不会浪费内存。）

这正是您在打开下一个代码之前应该在代码中执行的操作，打开文档，处理，保存和关闭。如果您有一个大型文档，则应将其拆分（以不会破坏注释性能的方式）。

以下是"Advanced GATE Embedded" module的代码示例：

// for each piece of text:

Document doc = (Document)Factory.createResource("gate.corpora.DocumentImpl",
              Utils.featureMap("stringContent", text, "mimeType", mime));
Corpus corpus = Factory.newCorpus("webapp corpus");
try {
  corpus.add(doc);
  application.execute();
  ...
finally {
  corpus.clear();
  Factory.deleteResource(doc);
}

在大型数据集上使用GATE时获取OOM

1 个答案: