将标准标记器更改为空白标记器的影响

时间:2019-08-05 07:54:02

标签: elasticsearch tokenize

关注question

我们在自定义过滤器中使用标准令牌生成器。使用此令牌生成器,一切正常。但是此标记生成器忽略特殊字符。我也想根据特殊字符进行搜索。 如果将标记生成器更改为空白标记生成器,则可以基于特殊字符进行搜索。

我现有的映射

    "analysis": {
  "filter": {
    "autocomplete_filter": {
      "type": "edge_ngram",
      "min_gram": "1",
      "max_gram": "20"
    }
  },
  "analyzer": {
    "autocomplete": {
      "type": "custom",
      "tokenizer": "standard",
      "filter": [
        "lowercase",
        "autocomplete_filter"
      ]
    }
  }

新映射

  "analyzer": {
"autocomplete": {
  "type": "custom",
  "tokenizer": "whitespace",
  "filter": [
    "lowercase",
    "autocomplete_filter"
  ]
} }

我想了解的几件事

  • 如果我移至WhiteSpace,会失去任何功能吗?
    令牌生成器?
  • 此更改有什么影响?
  • 由于此更改,我是否需要添加其他过滤器(如“ asciifolding”)?

谢谢。

0 个答案:

没有答案