Question

我目前正在使用docker发现弹性搜索，kibana和logstash。 （版本7.1.1）这三个容器运行良好。

我有一些包含这样的行的数据文件：

foo=bar    type=alpha    T=20180306174204527

我的logstash.conf包含：

input {
  file {
    path => "/tmp/data/*.txt"
    start_position => "beginning"
  }
}
filter {
  kv { 
    field_split => "\t"
    value_split => "="
  }
}
output {
  elasticsearch { hosts => ["elasticsearch:9200"] }
  stdout {
    codec => rubydebug
  }
}

我处理这些数据：

{
          "host" => "07f3051a3bec",
           "foo" => "bar",
       "message" => "foo=bar\ttype=alpha\tT=20180306174204527",
             "T" => "20180306174204527",
    "@timestamp" => 2019-06-17T13:47:14.589Z,
          "path" => "/tmp/data/ucL12018_03_06.txt",
          "type" => "alpha"
      "@version" => "1",
}

工作的第一步已经完成。现在，我想添加一个过滤器以将键T的值转换为时间戳。

{
...
             "T" => "2018-03-06T17:42:04.527Z",
    "@timestamp" => 2019-06-17T13:47:14.589Z,
...
}

我不知道该怎么做。我尝试在kv过滤器之后添加第二个过滤器，但是添加新文件时没有任何变化。

Answer 1

在kv过滤器之后添加此过滤器：

date { 
  match => [ "T", "yyyyMMddHHmmssSSS" ] 
  target => "T"
}

date过滤器将尝试使用提供的模式来解析字段T以创建日期，该日期将被写入T字段（默认情况下，它会覆盖{{ 1}}字段。

如何用logstash累积过滤器？

1 个答案: