使用filebeat记录-将JSON提取到ES fileds

Question

我们使用filebeat + elk处理日志。

1. 我们对filebeat的要求是在每一行中接收一个json对象并提取以下字段：

   1. 消息字段：记录的整个消息。
   2. 对于每个json字段，在ES文档中创建等效字段。

我们尝试使用json.keys_under_root: true，但随后未能将所有内容存储在“邮件”字段中。

1. 我们希望获得多行支持，但没有成功启动同时具有json.keys_under_root: true和multiline.pattern:<pattern>定义的filebeat服务。

您对这两个问题有任何想法吗？ 我们更喜欢使用filebeat而不是logstash来执行此json解析。

非常感谢。

Answer 1

1。）在filebeat.yml下面的配置帮助我解析了单行Json日志文件。

filebeat.prospectors：

路径：
    你的路。
    input_type：日志
    json.keys_under_root：true
    json.add_error_key：是

2。）我还没有尝试过多行模式。您也可以在该论坛中查看https://discuss.elastic.co/t/input-multiline-json/165287的此帖和其他帖子。