StandardFilter在Lucene5.3.1中做了什么？

Question

我在文档中找不到任何示例。它只是说：＆＃34;标准化使用StandardTokenizer提取的标记。＆＃34;。

文档的含义是：＆＃34;规范化＆＃34;？

Answer 1

根据API文档：

  

规范化使用StandardTokenizer提取的标记。

实际上，答案是：绝对没有。

public class StandardFilter extends TokenFilter {
  public StandardFilter(TokenStream in) {
    super(in);
  }

  @Override
  public final boolean incrementToken() throws IOException {
    return input.incrementToken(); // TODO: add some niceties for the new grammar
  }
}

这就像TokenFilter那样简单。它接收令牌，然后再将它们向后喷出，不变。

在Lucene 2.X中，它对撇号做了一些工作，从首字母缩略词等中删除了点，在3.X和4.X中，它保留了代码以实现向后兼容。从5.0开始，已经删除了向后兼容性支持，并且过滤器根本不再做任何事情（虽然它肯定可能在未来）。