stanford nlp tokenizer

Question

如何使用stanford解析器对java类中的字符串进行标记？

我只能找到documentProcessor和PTBTokenizer从外部文件中获取文本的示例。

 DocumentPreprocessor dp = new DocumentPreprocessor("hello.txt");
   for (List sentence : dp) {
    System.out.println(sentence);
  }
  // option #2: By token

   PTBTokenizer ptbt = new PTBTokenizer(new FileReader("hello.txt"),
          new CoreLabelTokenFactory(), "");
  for (CoreLabel label; ptbt.hasNext(); ) {
    label = (CoreLabel) ptbt.next();
    System.out.println(label);
  }

感谢。

Answer 1

PTBTokenizer构造函数接受java.io.Reader，然后您可以使用StringReader来解析您的文本