在Elasticsearch中,当我通过ngram过滤器运行单词时,为什么会丢失整个单词标记?

时间:2013-03-13 20:30:17

标签: lucene elasticsearch

似乎如果我通过ngram过滤器运行单词或短语,则原始单词不会被索引。相反,我只得到这个词的块到我的max_gram值。我希望原始单词也能被索引。我正在使用Elasticsearch 0.20.5。如果我使用带有ngrams的过滤器设置索引,如下所示:

CURL -XPUT 'http://localhost:9200/test/' -d '{
    "settings": {
        "analysis": {
            "filter": {
                "my_ngram": {
                    "max_gram": 10,
                    "min_gram": 1,
                    "type": "nGram"
                },
                "my_stemmer": {
                    "type": "stemmer",
                    "name": "english"
                }
            },
            "analyzer": {
                "default_index": {
                    "filter": [
                        "standard",
                        "lowercase",
                        "asciifolding",
                        "my_ngram",
                        "my_stemmer"
                    ],
                    "type": "custom",
                    "tokenizer": "standard"
                },
                "default_search": {
                    "filter": [
                        "standard",
                        "lowercase"
                    ],
                    "type": "custom",
                    "tokenizer": "standard"
                }
            }
        }
    }
}'

然后我在文件中写了一个长词:

CURL -XPUT 'http://localhost:9200/test/item/1' -d '{
     "foo" : "REALLY_REALLY_LONG_WORD"
 }'

我查询那个长词:

CURL -XGET 'http://localhost:9200/test/item/_search' -d '{
  "query":
 {
     "match" : {
         "foo" : "REALLY_REALLY_LONG_WORD"
     }
 }
 }'

我得到0结果。如果我查询该单词的10个字符块,我会得到一个结果。当我运行时:

curl -XGET 'localhost:9200/test/_analyze?text=REALLY_REALLY_LONG_WORD

我得到了克,但不是原来的单词。我错过了一个配置,让我的工作方式符合我的要求吗?

1 个答案:

答案 0 :(得分:3)

如果您想保留完整的词组,请使用多字段映射表示保留“未分析”或使用关键字标记符的值。

此外,当使用nGram标记化值搜索字段时,您可能还应该使用nGram-tokenizer进行搜索,然后n字符限制也将适用于搜索短语,您将获得预期结果