Standard tokenfilter在Elasticsearch中究竟做了什么？

Question

There are no examples in the documentation，我只是想知道从我提供的输入中得到什么。

Answer 1

在Elasticsearch 0.16（Lucene 3.1）之前，标准令牌过滤器是“标准化标记器提取的标记令牌”。具体来说，它是在首字母缩略词中的单词和点的末尾删除's。因此，在通过标准过滤器之后，Apple's C.E.O将成为Apple CEO。从Elasticsearch 0.16（Lucene 3.1）开始，标准令牌过滤器执行nothing（至少目前）。它只是将标记传递给链中的下一个过滤器。

Answer 2

这里是来自Lucene trunk的StandardFilter源代码的摘录。它什么都没做。

public final boolean incrementToken() throws IOException {
    return input.incrementToken(); // TODO: add some niceties for the new grammar
}