ES限制令牌计数 - 令牌过滤器为什么我们需要这个?

时间:2017-01-04 16:51:55

标签: elasticsearch

在最新的Elasticsearch文档版本5.1中,有一个关于限制令牌计数 - 令牌过滤器的部分。

https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-limit-token-count-tokenfilter.html

它有一个名为" max_token_count"默认为1。

也许我在这里遗漏了一些东西但是1似乎太低了。为什么我们需要或想要限制每个文档的最大令牌数量?

这不会影响一个非常大的文档的索引吗?

1 个答案:

答案 0 :(得分:0)

默认值为1令牌似乎很奇怪,但最大令牌本身非常明智。我自己使用它,结合独特的过滤器,来限制一些可能非常长的用户生成数据的可搜索性。

有问题的字段是一个'notes'字段,它们可以存储数据。这里的数据应该只影响相关性,而不是主搜索字段,所以我没有理由将大量的弹性搜索存储用于它。 / p>

也就是说,我目前为实现这一目标所做的努力并不尊重max_token_count参数,所以我们会看到这是怎么回事。