将JSON对象作为文档批量加载到elasticsearch中

时间:2014-09-05 14:42:12

标签: json curl elasticsearch elasticsearch-bulk-api

有没有办法在不修改原始内容的情况下将下面的数据批量加载到elasticsearch中?我将每个对象POST为单个文档。目前我正在使用Python来解析单个对象并一次发布一个。

{
   {"name": "A"},
   {"name": "B"},
   {"name": "C"},
   {"name": "D"},
}

从REST服务器到弹性搜索在生产中进行此类处理需要花费大量时间。

是否有一个POST / curl命令可以立即上传上面的文件而elasticsearch会解析它并使每个对象成为自己的文档?

我们正在使用elasticsearch 1.3.2

1 个答案:

答案 0 :(得分:2)

是的,您可以使用_bulk端点通过curl进行批量api。但不是自定义解析。无论创建文件的过程是什么,都可以将其格式化为ES规范(如果这是一个选项)。见这里:

http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-bulk.html

通过帮助程序在python中也有批量支持。看这里: http://elasticsearch-py.readthedocs.org/en/master/helpers.html