ElasticSearch query_string无法使用某些字符解析查询

时间:2016-11-02 16:25:33

标签: elasticsearch lucene pyelasticsearch

我使用ElasticSearch(2.4)和官方Python客户端来执行简单查询。我的代码:

from elasticsearch import Elasticsearch

es_client = Elasticsearch("localhost:9200")
index = "indexName"
doc_type = "docType"

def search(query, search_size):
    body = {
        "fields": ["title"],
        "size": search_size,
        "query": {
            "query_string": {
                "fields": ["file.content"],
                "query": query
            }
        }
    }
    response = es_client.search(index=index, doc_type=doc_type, body=body)
    return response["hits"]["hits"]

search("python", 10) # Works fine.

问题是当我的查询包含不平衡的括号或括号时。例如,search("python {programming", 10) ES抛出:

elasticsearch.exceptions.RequestError: TransportError(400, u'search_phase_execution_exception', u'Failed to parse query [python {programming}]')

这是ES的预期行为吗?它没有使用标记器来删除所有这些字符吗?

注意:我也使用Java。

4 个答案:

答案 0 :(得分:3)

我正在阅读文档,query_string更严格。以下是保留字符:+ - = && || > < ! ( ) { } [ ] ^ " ~ * ? : \ /

所以,就像jhilden所说,我必须逃避它们或使用simple_query_string代替。

文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html

答案 1 :(得分:2)

在ES中使用query_string时有点奇怪。你需要用双反斜杠来逃避它。

以下失败:

GET index1/job/_search
{
  "query": {
    "query_string": {
      "fields": ["jobNumber"],
      "query": "827950 { foo"
    }
  }
}

以下作品

GET index1/job/_search
{
  "query": {
    "query_string": {
      "fields": ["jobNumber"],
      "query": "827950 \\{ foo"
    }
  }
}

注意:如果您使用的是条款查询或类似的其他内容,则需要转义{

答案 2 :(得分:2)

我知道我已经来晚了,但是我要在这里发布,希望对您有所帮助。从Elasticsearch文档here中我们知道,ES具有一些保留字符。

保留字符为:+ - = && || > < ! ( ) { } [ ] ^ " ~ * ? : \ /

因此,现在您有两种可能的解决方案来对其进行修复。当我遇到特殊字符问题时,这些对我来说很完美

解决方案1:\\

包裹特殊字符
"query": {
    "bool": {
      "must": [
        {
          "match": {
            "country_code.keyword": "IT"
          }
        },
        {
          "query_string": {
            "default_field": "display",
            "query": "Magomadas \\(OR\\), Italy"
          }
        }
      ]
    }
  }

解决方案2:使用simple_query_stringquery不变,但它不支持default_field,因此可以使用fields代替。

  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "country_code.keyword": "IT"
          }
        },
        {
          "simple_query_string": {
            "fields": ["display"], 
            "query": "Magomadas (OR), Italy"
          }
        }
      ]
    }
  }

答案 3 :(得分:0)

如上一个答案中所述,某些字符需要转义;

+ - = && || > < ! ( ) { } [ ] ^ " ~ * ? : \ /
  

?"query": "my:name*&&"应该是"query": "my\\:name\\*\\&&"


要救援的正则表达式✨

借助简单的正则表达式,我们可以轻松地转义这些字符

Python

import re

def escape_elasticsearch_query(query):
    return re.sub('(\+|\-|\=|&&|\|\||\>|\<|\!|\(|\)|\{|\}|\[|\]|\^|"|~|\*|\?|\:|\\|\/)', '\\\\\\1', query)


query = 'my:name*&&'
escaped_query = escape_elasticsearch_query(query)
print(escaped_query)

输出:

my\:name\*\&&

Javascript

function escapeElasticsearchQuery(query) {
    return query.replace(/(\+|\-|\=|&&|\|\||\>|\<|\!|\(|\)|\{|\}|\[|\]|\^|"|~|\*|\?|\:|\\|\/)/g, '\\$&');
}


let query = 'my:name*&&';
let escapedQuery = escapeElasticsearchQuery(query);
console.log(escapedQuery);

输出:

my\:name\*\&&