如何从现有日志中提取字段（ECS中的流利位）

Question

我已在ECS集群上配置Fluent-bit。我可以在Kibana中看到日志。但是所有日志数据都发送到单个字段“ log”。如何将每个字段提取到单独的字段中。在这个问题上已经有流利的解决方案。

但是我如何才能使用流利的钻头呢？

在Kuberntetes中有一种流利的解决方案：https://docs.fluentbit.io/manual/filter/kubernetes

如何在ECS中实现相同的目的？

Answer 1

通常，流利的位会准确发送从/var/lib/docker/containers/*/*.log获取的docker日志文件 您可以在计算机上浏览该路径，并查看它包含的JSON字符串以及您刚才提到的两个字段。

从这里您有多种方法，我将发现两种我很熟悉的方法：

1. 使用logstash：

   您应该非常了解日志结构。这有助于您为解析日志字段创建正确的筛选器管道。通常，人们为此使用filter plugins。如果您添加日志示例，我将能够举例说明this

2. 使用elasticsearch ingest node。

   您应该非常了解日志结构。为了能够轻松创建processors pipeline用于解析日志字段。一次以上，特定的日志示例可以帮助我们为您提供帮助。

最常用的过滤器/处理器是grok filter / processor。该工具有很多选项可用于解析任何日志中的结构化文本。