在elasticsearch中加入/拆分搜索词(使用轮胎)

时间:2013-02-07 21:50:32

标签: ruby-on-rails-3 elasticsearch tire fuzzy-search

我有以下分析器(稍微调整一下雪球的设置方式):

  string_analyzer: {
    filter: [ "standard", "stop", "snowball" ],
    tokenizer: "lowercase"
  }

以下是适用于的字段:

  indexes :title, type: 'string', analyzer: 'string_analyzer'

  query do
    match ['title'], search_terms, fuzziness: 0.5, max_expansions: 10, operator: 'and'
  end

我的索引中有一个标题为foo bar的记录。

如果我搜索foo bar,它会显示在结果中。

但是,如果我搜索foobar则不会。

有人可以解释为什么以及如果可能的话我怎么能得到它?

有人可以解释我如何能够反过来这样做,以便如果我有一个标题foobar的记录,用户可以搜索foo bar并将其视为结果吗? / p>

由于

1 个答案:

答案 0 :(得分:2)

您只能搜索索引中的令牌。那么让我们来看看你的索引。 您当前正在使用lowercase标记生成器(在非字母字符上标记字符串并将其缩小)然后应用standard过滤器(冗余,因为您没有使用standard标记生成器),stopsnowball过滤器。

如果我们创建该分析器:

curl -XPUT 'http://127.0.0.1:9200/test/?pretty=1'  -d '
{
   "settings" : {
      "analysis" : {
         "analyzer" : {
            "string_analyzer" : {
               "filter" : [
                  "standard",
                  "stop",
                  "snowball"
               ],
               "tokenizer" : "lowercase"
            }
         }
      }
   }
}
'

并使用analyze API对其进行测试:

curl -XGET 'http://127.0.0.1:9200/test/_analyze?pretty=1&text=foo+bar&analyzer=string_analyzer' 

您会看到"foo bar"生成术语["foo","bar"]"foobar"生成术语["foobar"]。因此,索引"foo bar"并搜索"foobar"目前无效。

如果您希望能够搜索“内部”单词,那么您需要将单词分解为较小的标记。为此,我们使用ngram分析器。

所以删除测试索引:

curl -XDELETE 'http://127.0.0.1:9200/test/?pretty=1' 

并指定一个新的分析器:

curl -XPUT 'http://127.0.0.1:9200/test/?pretty=1'  -d '
{
   "settings" : {
      "analysis" : {
         "filter" : {
            "ngrams" : {
               "max_gram" : 5,
               "min_gram" : 1,
               "type" : "ngram"
            }
         },
         "analyzer" : {
            "ngrams" : {
               "filter" : [
                  "standard",
                  "lowercase",
                  "ngrams"
               ],
               "tokenizer" : "standard"
            }
         }
      }
   }
}
'

现在,如果我们测试分析仪,我们得到:

"foo bar" => [f,o,o,fo,oo,foo,b,a,r,ba,ar,bar]
"foobar"  => [f,o,o,b,a,r,fo,oo,ob,ba,ar,foo,oob,oba,bar,foob,ooba,obar,fooba,oobar]

因此,如果我们索引"foo bar"并使用"foobar"查询搜索match,那么查询将成为查询任何这些令牌的查询,其中一些令牌存在于索引中

不幸的是,它也会与"wear the fox hat"foa重叠。虽然foobar会显示在结果列表的较高位置,因为它有更多共同的令牌,但您仍然会得到明显不相关的结果。

这可以通过使用minimum_should_match参数来控制,例如:

curl -XGET 'http://127.0.0.1:9200/test/test/_search?pretty=1'  -d '
{
   "query" : {
      "match" : {
         "my_field" : {
            "minimum_should_match" : "60%",
            "query" : "foobar"
         }
      }
   }
}
'

minimim_should_match的确切值取决于您的数据 - 尝试使用它。