我有一些如下所示的JSON:让我们调用该字段元数据
{
"somekey1": "val1",
"someotherkey2": "val2",
"more_data": {
"contains_more": [
{
"foo": "val5",
"bar": "val6"
},
{
"foo": "val66",
"baz": "val44"
},
],
"even_more": {
"foz" : 1234,
}
}
}
这只是一个简单的例子。真正的人可以变得更加复杂。 钥匙可以多次出现。值也可以是int或str。
现在第一个问题是,我不太确定如何在elasticsearch中正确索引这个问题,以便找到具有特定请求的内容。
我正在使用Django / Haystack,索引如下所示:
class FooIndex(indexes.SearchIndex, indexes.Indexable):
text = indexes.CharField(document=True, use_template=True)
metadata = indexes.CharField(model_attr='get_metadata')
# and some more specific fields
模板:
{
"foo": {{ object.foo }},
"metadata": {{ object.metadata}},
# and some more
}
然后将使用上面的示例填充元数据,结果将如下所示:
{
"foo": "someValue",
"metadata": {
"somekey1": "val1",
"someotherkey2": "val2",
"more_data": {
"contains_more": [
{
"foo": "val5",
"bar": "val6"
},
{
"foo": "val66",
"baz": "val44"
},
],
"even_more": {
"foz" : 1234,
}
}
},
}
这将进入'文本' elasticsearch中的专栏。
所以现在的目标是能够搜索以下内容:
第二个问题: 当我搜索例如对于foo:val5它匹配所有只有键的对象" foo"和所有在其中的其他地方都有val5的对象。
这是我在Django中搜索的方式:
self.searchqueryset.auto_query(self.cleaned_data['q'])
有时结果是" okayish"有时它完全没用。
我可能需要一个指向正确方向的指针,并了解我在这里犯的错误。谢谢!
编辑:我在下面添加了我的最终解决方案作为答案!
答案 0 :(得分:3)
可以肯定的是,您首先需要根据您的特定数据制作自定义映射,并根据您的查询需求,我的建议是contains_more
应为nested
type,以便您可以在字段上发出更精确的查询。
我不知道您的字段的确切名称,但根据您展示的内容,一个可能的映射可能是这样的。
{
"your_type_name": {
"properties": {
"foo": {
"type": "string"
},
"metadata": {
"type": "object",
"properties": {
"some_key": {
"type": "string"
},
"someotherkey2": {
"type": "string"
},
"more_data": {
"type": "object",
"properties": {
"contains_more": {
"type": "nested",
"properties": {
"foo": {
"type": "string"
},
"bar": {
"type": "string"
},
"baz": {
"type": "string"
}
}
}
}
}
}
}
}
}
}
然后,正如他在评论中已经提到的那样,auto_query
不会削减它,主要是因为多个嵌套级别。据我所知,Django / Haystack并不支持嵌套查询,但你可以扩展Haystack来支持它。这是一篇博客文章,解释了如何解决这个问题:http://www.stamkracht.com/extending-haystacks-elasticsearch-backend。不确定这是否有帮助,但您应该尝试一下,如果您需要更多帮助,请告诉我们。
答案 1 :(得分:3)
编制索引:
首先,如果要相对于键名定义特定的映射,或者文档的结构不同,则应使用动态templates。
但是30键不是那么高,你应该更喜欢定义自己的映射,而不是让Elasticsearch为你猜测它(如果首先添加了不正确的数据,将根据这些数据定义映射)
<强>搜索:强>
您无法搜索
foz: val5
因为&#34; foz&#34;密钥不存在。
但关键&#34; metadata.more_data.even_more.foz&#34;做=&gt;所有的密钥都从文档的根目录中展平
这样你就必须搜索
foo: val5
metadata.more_data.even_more.foz: 12*
metadata.more_data.contains_more.bar: val*
metadata.somekey1: val1
使用query_string作为示例
"query_string": {
"default_field": "metadata.more_data.even_more.foz",
"query": "12*"
}
或者,如果您想在多个字段中搜索
"query_string": {
"fields" : ["metadata.more_data.contains_more.bar", "metadata.somekey1"],
"query": "val*"
}
答案 2 :(得分:0)
需要一段时间才能找到适合我的正确解决方案
这是 @juliendangers 和 @Val 提供的答案以及更多自定义的混合。
为模型添加了自定义get_type_mapping
方法
@classmethod
def get_type_mapping(cls):
return {
"properties": {
"somekey": {
"type": "<specific_type>",
"format": "<specific_format>",
},
"more_data": {
"type": "nested",
"include_in_parent": True,
"properties": {
"even_more": {
"type": "nested",
"include_in_parent": True,
}
/* and so on for each level you care about */
}
}
}
为模型添加了自定义get_document
方法
@classmethod
def get_document(cls, obj):
return {
'somekey': obj.somekey,
'more_data': obj.more_data,
/* and so on */
}
添加自定义搜索表单
class Searchform(ElasticsearchForm):
q = forms.Charfield(required=False)
def get_index(self):
return 'your_index'
def get_type(self):
return 'your_model'
def prepare_query(self):
if not self.cleaned_data['q']:
q = "*"
else:
q = str(self.cleaned_data['q'])
return {
"query": {
"query_string": {
"query": q
}
}
}
def search(self):
esp = ElasticsearchProcessor(self.es)
esp.add_search(self.prepare_query, page=1, page_size=25, index=self.get_index(), doc_type=self.get_type())
responses = esp.search()
return responses[0]
所以这对我有用,涵盖我的用例。也许它可以为某些人提供一些帮助。