用流利的数据解析数据

Question

我已经熟练使用elasticsearch运行，并且我使用rsyslog从几台Unix机器转发日志（基本上转发所有日志）。

效果很好，除了我无法控制数据。我想要的是能够标记某些值。现在，一切都在@message中。假设我有来自apache的日志流畅。我想用Kibana来查看流量（每个ip，每种类型的文件，响应等）。

我不知道这是否可以直接在Kibana中完成，或者必须在流利的情况下进行解析。 我该怎么办呢？我已经看到了不同日志设置的示例，但是当谈到Web服务器时，它们都会关闭日志文件。我无法做到这一点，因为它是一个远程服务器。

另外，我有不同的服务，我想从（sql，web，mail ...）获得重要的统计数据。

注意：我使用rsyslog转发日志。

Answer 1

我是Fluentd的维护者之一。

您认为您可以共享您的Fluentd配置文件以及日志中的示例行吗？

  

另外，我有不同的服务，我想从（sql，web，mail ...）获得重要的统计数据。

• 对于SQL，有https://github.com/frsyuki/fluent-plugin-sql
• 对于网络，您可以使用其中一种特定于语言的记录器（请参阅http://docs.fluentd.org上的教程）
• 对于邮件，我不知道有一个处理这个的插件。我鼓励您询问我们的邮件列表。

Answer 2

对于邮件，该区域已有工作。 https://gist.github.com/mikeda/d9f800c1a5aa73e125cb/raw/0a87cbbf4b49218fb7f97b3b9dc8cabfadbf9df6/in_maillog_tail.rb