使用简单的CoreNLP API时如何设置令牌生成器选项？

Question

我知道CoreNLP中可用的令牌生成器选项，并且我知道如何在标准版本中设置它们。

是否可以传递选项，例如untokenizable=noneKeep，当使用简单CoreNLP接口时？

Answer 1

您可以使用属性构建文档。

package edu.stanford.nlp.examples;

import edu.stanford.nlp.simple.*;

import java.util.*;

public class SimpleExample {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.setProperty("tokenize.options", "untokenizable=allKeep");
        Document doc = new Document(props, "Joe Smith was born in California.  He moved to Chicago last year.");
        for (Sentence sent : doc.sentences()) {
            System.out.println(sent.tokens());
            System.out.println(sent.nerTags());
            System.out.println(sent.parse());
        }
    }

}