在Lucene索引令牌双字母

Question

我需要在Lucene中索引二元词（标记）。我可以产生n-gram而不是索引它们，但我想知道Lucene中是否有东西可以为我做这件事。 我发现Lucene仅索引n-gram字符。 有什么想法吗？

Answer 1

使用NGramTokenizer：

http://lucene.apache.org/java/2_3_2/api/contrib-analyzers/org/apache/lucene/analysis/ngram/NGramTokenizer.html

Answer 2

您正在寻找的课程是ShingleFilter：http://lucene.apache.org/java/2_4_0/api/org/apache/lucene/analysis/shingle/ShingleFilter.html

Answer 3

根据您需要为二元组编制索引的原因，SpanQuery和/或SnowballAnalyzer可能会有所帮助。