将JSON文件插入Elasticsearch

时间:2018-05-14 12:20:36

标签: elasticsearch logstash etl filebeat kibana-6

我有一个python脚本,不时创建一个JSON文件(没有特定的时间表)我想在创建时将此JSON文件存储在elasticsearch中。弹性堆栈中最好的工具是什么?可以使用Logstash或Beats完成吗?另外我还有另一个脚本,它不时地创建一个自定义文件.klm(再次没有特定的时间表)我想在创建文件时立即插入该文件的名称,这样可以用Logstash或Beats完成,或任何其他我可以开始的建议?!

我正在使用Elastic stack 6.0.2版

2 个答案:

答案 0 :(得分:0)

你需要 Index 使用Python客户端的Json文档

我也建议您阅读ES文档,以便了解ES如何处理索引和别名。

答案 1 :(得分:0)

您可以使用file input的logstash来读取文件,使用elasticsearch output将文件的内容写入elasticsearch。对于.klm文件,logstash中的文件输入会添加一个包含文件路径的path字段,请参阅此answer,了解如何从路径中检索文件名。

如果您从未使用过logstash,请启动here

我无法评论是否可以使用节拍。