如何根据logstash配置中的时间戳为elasticsearch中的日志编制索引？

Question

我有一个日志文件，并希望根据时间戳（例如gt> 24th oct）将日志索引到elasticsearch。如何为此配置logstash？由于ignore_older字段用于多个文件，因此我无法使用它。

Answer 1

有几种方法可以完成这样的事情。最简单的方法取决于您的日期的表示方式。例如，如果文件中的日期是YYYY-MM-dd格式，您可以像这样进行字符串比较：

    if ([timestamp] < '2015-01-01') {
            drop {}
    }

如果不是，最好的办法是添加一个以@timestamp为字符串的新字段。请注意，它将在GMT

    mutate {
            add_field => [ "mydate", "%{@timestamp}"]
    }
    if ([mydate] < '2015-01-01') {
            drop {}
    }
    mutate {
             remove_field => ["mydate"]
    }