使用Python中的Logstash将数据导入Elastic Search

Question

我已使用logstash的命令行将JSON文件导入ElasticSearch索引。我使用了以下命令：

  

。\ logstash -f logstash.conf

logstash.conf文件中提供了要导入的文件的路径。 我已经能够使用命令行实现此目的。

但是我如何在python中做同样的事情？ 目的是使用python（带或不带logstash）将批量数据导入elasticsearch索引

Answer 1

您可以使用批量加载程序http://elasticsearch-py.readthedocs.io/en/master/helpers.html?highlight=bulk#bulk-helpers

如果您无法将文件放入内存 - 请使用流媒体选项http://elasticsearch-py.readthedocs.io/en/master/helpers.html?highlight=bulk#elasticsearch.helpers.streaming_bulk