如何使用String tokenizer从单词列表中删除单词?

时间:2012-11-19 13:29:50

标签: java string tokenize pos-tagger

我在Java中使用Pos Tagging后有一个单词列表。现在我想删除带有指定标签的特定单词。如何使用字符串标记生成器删除标记的单词? 比如PRP?以及带标签的所有单词prp?

输入文件:

mike-NNS

Buses-NNP

Walk_VRB

to_PRP

。 。 。 。 。 。 。 。 。 等等

1 个答案:

答案 0 :(得分:1)

    final List<String> result = new ArrayList<String>();

    final List<String> textList= getList(); // get your list

    final StringTokenizer tokenizer = 
      new StringTokenizer(textList, delimiter); // your delimiter
    while (tokenizer.hasMoreElements()) {
      final String token = tokenizer.nextToken();
      if (isValid(token)) { // implement your own isValid method
        result.add(token);
      }

    }
    return result;