映射地理多边形弹性搜索/ Kibana 5.3

时间:2017-04-14 19:51:10

标签: python elasticsearch kibana

我有以这种格式的20,000个geojson文件:

{
    "geometry": {
        "type": "Polygon",
        "coordinates": [
            [
                [long,lat],
                [long,lat],
                [long,lat],
                [long,lat],
                [long,lat]
            ]
        ]
    },

我尝试使用geo_shape和geo_point的所有映射都没有显示在Kibana中或显示在kibana中,但没有数据。将此映射到索引多个文件的最佳方法是什么? (如果没有好的方法,我的下一个想法就是如果我不能使用所有坐标的话,为每个文件创建一个中心点。也许采用第一个长的lat数组,并为每个json文件制作geo_point中心点。不确定如何去做这个)

当我索引而没有改变任何东西时,这是ES的默认映射:

{
  "indexname" : {
    "mappings" : {
      "my_type" : {
        "properties" : {
          "geometry" : {
            "properties" : {
              "coordinates" : {
                "type" : "float"
              },
              "type" : {
                "type" : "text",
                "fields" : {
                  "keyword" : {
                    "type" : "keyword",
                    "ignore_above" : 256
                  }
                }
              }
            }
          },

更新 这是我的新映射:

{
  "indexname" : {
    "mappings" : {
      "my_type" : {
        "properties" : {
          "geometry" : {
            "type" : "geo_shape",
            "tree" : "quadtree",
            "precision" : "1.0m"
          },
          "id" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          },

然而,当我去kibana时,我在尝试可视化增强的tilemap时仍然出现错误:

No Compatible Fields: The "indexname" index pattern does not contain any of the following field types: geo_point

EDIT2 这是我创建映射的命令:

curl -XPUT "http://localhost:9200/indexname" -d "{\"mappings\" : {\"my_type\" : {\"properties\" : {\"geometry\" : {\"type\":\"geo_shape\", \"tree\": \"quadtree\", \"precision\": \"1m\"}}}}}"

我通过循环并发送帖子请求来索引我的文件:

r = requests.post(url_of_index, data=file(jsonfiles).read()) 

当我尝试将类型更改为geo_point然后索引我的文件时,我遇到了映射器解析器异常。

1 个答案:

答案 0 :(得分:1)

您需要做的是创建自己的包含geo_shape类型的映射,因为ES不会从您的GeoJSON文档中推断出它。

PUT indexname
{
  "mappings": {
    "my_type": {
      "properties": {
        "geometry": {
          "type": "geo_shape",
          "tree": "quadtree",
          "precision": "1m"
        }
      }
    }
  }
}

创建此索引和映射后,您将能够索引GeoJSON文件:

PUT indexname/my_type/1
{
  "geometry": {
    "type": "Polygon",
    "coordinates": [
        [
            [long,lat],
            [long,lat],
            [long,lat],
            [long,lat],
            [long,lat]
        ]
    ]
  }
}

<强>更新

根据我们的讨论,您可能需要在映射中创建一个新的geo_point字段,如下所示:

PUT indexname
{
  "mappings": {
    "my_type": {
      "properties": {
        "location": {
          "type": "geo_point"
        },
        "geometry": {
          "type": "geo_shape",
          "tree": "quadtree",
          "precision": "1m"
        }
      }
    }
  }
}

然后从Python代码中,您需要通过读取JSON文件中的第一个坐标来创建该新字段,如下面的伪代码:

import json

doc = json.loads(file(jsonfiles).read())
# create the new location field
doc['location'] = doc['geometry']['coordinates'][0][0]
r = requests.post(url_of_index, data=json.dumps(doc))