Question

我使用nGram分析器（仅发出三元组）索引一些数据，以解决compound words problem exactly as described at the ES guide。

然而这并不像预期的那样工作：相应匹配查询将返回至少有一个nGram-token（每个单词）匹配的所有文档。

示例：

让我们使用nGram分析器将这两个索引文档作为单个字段：

POST /compound_test/doc/_bulk
{ "index": { "_id": 1 }}
{ "content": "elasticsearch is awesome" }
{ "index": { "_id": 2 }}
{ "content": "some search queries don't perform good" }

现在，如果我运行以下查询，我会得到两个结果：

"match": {
  "content": {
    "query": "awesome search",
    "minimum_should_match": "100%"
  }
}

由此构造的查询可以表示如下：

(awe OR wes OR eso OR ome) AND (sea OR ear OR arc OR rch)

这就是第二个文档匹配的原因（它包含“some”和“search”）。它甚至会匹配包含令牌“som”和“rch”的单词的文档。

我真正想要的是一个查询，其中每个分析的令牌必须匹配（在最好的情况下取决于最小匹配），所以像这样：

"match": {
  "content": {
    "query": "awe wes eso ome sea ear arc rch",
    "analyzer": "whitespace", 
    "minimum_should_match": "100%"
  }
}

..没有实际创建“手动”查询/在客户端预先分析它。

可以在https://pastebin.com/97QxfaSb

找到重现该行为的所有设置和数据

有可能吗？

Answer 1

在写这个问题时，我意外地找到了答案：

如果ngram分析器使用ngram过滤器生成三元组（如指南中所述），它将按照上述方式工作。（我猜因为实际的令牌不是单个ngrams而是所有创建的ngrams的组合）

要实现所需行为，分析器必须使用ngram tokenizer：

"tokenizer": {
  "trigram_tokenizer": {
    "type": "ngram",
    "min_gram": 3,
    "max_gram": 3,
    "token_chars": [
      "letter",
      "digit"
    ]
  }
},
"analyzer": {
  "trigrams_with_tokenizer": {
    "type": "custom",
    "tokenizer": "trigram_tokenizer" 
  }
}

使用这种方式生成令牌会在对该字段进行排队时产生所希望的结果。

查询elasticsearch以使所有分析的ngram标记匹配

1 个答案: