使用LookAhead的Lucene Tokenizer

Question

有人能指出我使用LookAhead实现Lucene Tokenizer的正确方向吗？

我正在使用一个雪球塞，我希望能够获取城市名称的短语并防止它们被阻止，以便“洛杉矶”将被设置为单个令牌，而不是“两个令牌”洛杉矶“和”洛杉矶“。

我还需要将与任何城市名称不匹配的令牌作为一个单词保留。

任何想法？

TIA

Answer 1

Here是我写的东西的要点，它能做你想做的事。