如何将日志保存在两个索引logstash配置中

Question

如何在一个raw_log和另一个已处理的日志中保留多个索引中的日志。

使用我当前的配置，所有日志都会转到logstash-xxx索引。现在我想对登录消息进行一些过滤，并希望放入不同的索引。但是所有匹配的日志也应该转到logstash-xxx索引。

我怎样才能实现这一目标。

Answer 1

听起来您正在寻求将与审计相关的消息发送到新索引，该索引可能具有单独的保留策略。我知道这种痛苦。

有几种方法可以解决这个问题。

在我看来，最好的方法是识别与审核相关的项目，标记它们，然后在输出中使用该标记。比如...

filter {
  if [path] =~ "auth.log$" {
    mutate {
      add_tags => [ "audit" ]
    }
  }
}

output {
  elasticsearch {
    logstash-index stuff
  }

  if "audit" in [tags] {
    elasticsearch {
      audit-index stuff
    }
  }
}

使用此配置，标记为audit的事件将被放入通常的logstash-索引以及单独的索引中。