解析日志时跳过读取历史数据

时间:2018-10-03 11:05:48

标签: parsing logging logstash

我正在从s3存储桶中读取日志,存储桶中包含1月月份的数据,当我运行配置时,logstash正在读取所有历史数据,但是我只想读取今天的数据,怎么办?应该是配置吗?

以下是我的配置

input {
s3{
     access_key_id => "*****************"             
     secret_access_key => "*******************" 
     region => "us-west-1"                   
     bucket => "abc-logs"                  
     codec => "plain"
     type => "access_logs"
}
}
output {
if "_grokparsefailure" not in [tags]
  {
        elasticsearch {
        hosts => "localhost:9200"
        index => "abc"
}
}
  stdout { codec => rubydebug }
}

我该怎么做才能避免读取历史数据

0 个答案:

没有答案