如何更新标准令牌生成器的令牌

Question

我在我的Elasticsearch插件中使用标准标记器。我需要迭代标准令牌生成器的每个令牌，并用一些加密的文本更新到lucene索引。有什么方法可以更新标准令牌生成器的令牌？有人可以帮忙吗？

Answer 1

这是一个有趣的用例，但是令牌生成器恕我直言并不是正确的选择，基本上elasticsearch analysis process包括以下三个阶段。

1. 字符过滤器
2. tokenizer
3. 令牌过滤器

如果要更改某些字符，请在将其发送到tokenizer之前，先在char过滤器中进行更改，或者在token过滤器中更改令牌，如在这些阶段中所见，与在tokenizer阶段相比，您可以进行更多的转换。