Question

我正在使用logstash解析一些数据并将其提供给ElasticSearch并且它工作正常，除了ElasticSearch创建的索引太多我想避免的。

我的Logstash配置如下所示：

filter {
    date {
        locale => "en"
        match => [ "log_timestamp", "dd/MMM/yyyy:HH:mm:ss +0100" ]
        timezone => "UTC" 
        target => "@timestamp"
    }
}
output {
    elasticsearch {
        hosts => ["0.0.0.0:9200"]
        index => "index-%{+YYYY-MM-dd}"
    }
}

它确实使用数据中的日期为我的数据创建索引。

因此，如果我处理2016-01-14今天（2016-01-20）的数据，我的elasticSearch目录中会有2个索引： index-2016-01-14 和 index -2016-01-20

而且我真的不想拥有＆＃39; index-2016-01-20 ＆＃39;，我只想要一个用于我的数据，在我的情况下＆＃39;的指数-2016年1月14日＆＃39;

我希望自己有点明确：）

示例输入数据：

[14/Jan/2016:00:00:00 +0100]|bla|ip|...|200|0|0|
[14/Jan/2016:02:00:00 +0100]|cla|ip|...|200|0|0|
[14/Jan/2016:05:00:00 +0100]|dla|ip|...|200|0|0|

Answer 1

如果浏览“坏”索引，您将看到今天日期的事件。这是由于错误的日期{}过滤器，它没有重置@timestamp，因此使用了今天的值。

ElasticSearch创建不必要的索引

1 个答案: