Question

我正在尝试更改@timestamp以匹配我的timestamp，这是我的事件发生的时间，而不是当logstash时间标记时。

这是我的配置文件

input {
 jdbc {
   jdbc_driver_library => "C:/logstash/lib/mysql-connector-java-5.1.37-bin.jar"
   jdbc_driver_class => "com.mysql.jdbc.Driver"
   jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/transport"
   jdbc_user => "root"
   jdbc_password => ""
   schedule => "* * * * *"
   statement => "select id, timestamp, type, service, data, success, trans_id from audit where timestamp >= :sql_last_start"    
 }
}

filter {
    date {
      match => [ "timestamp", "YYYY-MM-dd HH:mm:ss,SSS" ]
      add_tag => [ "tsmatch" ]
}
}

output {
  elasticsearch {
     hosts => ["127.0.0.1:9200"]
     index => "audit-%{+YYYY.MM.dd}"
     document_id => "%{id}"
 }
 stdout {
     codec => rubydebug
 }  
}

Out put

{
        "id" => 32,
 "timestamp" => 2015-11-18 18:21:44 +0000,
      "type" => "Scheduled",
   "service" => "Road",
      "data" => "Changing the time",
   "success" => 1,
  "trans_id" => "ta819rsc",
  "@version" => "1",
"@timestamp" => "2015-11-18T18:22:00.069Z",
      "tags" => [
    [0] "_dateparsefailure"
]
}

Elasticsearch

可以看出，时间戳（时间）是不同的。当我把它带到Kibana时，这会弄乱我的数据，因为我希望直方图在事件发生时过滤，而不是当logstash给它时间戳时。

有人可以为我提供解决方法。

更新

我已根据建议将过滤器更改为

match => [ "timestamp", "YYYY-MM-dd HH:mm:ss ZZZ" ]

并且时间仍然不足，并在响应中获得相同的_dateparsefailure。它是否与MySQL的Datestamp事实有关，它无法转换？

Answer 1

好的，我终于想出如何让@timestamp与事件发生的时间相匹配。

我需要将我的时间戳格式化为字符串格式，并在MySQL的DATE_FORMAT()的帮助下完成此操作。

MySQL 数据：

以下是 logstash conf代码。

input {
  jdbc {
    code omitted....
    schedule => "* * * * *"
    statement => "select id, DATE_FORMAT(timestamp, '%Y-%m-%d %T') AS timestamp, type, service, data, success, trans_id from `transport`.`audit` where timestamp >= :sql_last_start"    
  }
}

filter {
    date {
      locale => "en"
      timezone => "UTC"
      match => [ "timestamp", "YYYY-MM-dd HH:mm:ss" ]
      target => "@timestamp"
    }
}

output {
   elasticsearch {
       hosts => ["127.0.0.1:9200"]
       index => "audit-%{+YYYY.MM.dd}"
       document_id => "%{id}"
}
   stdout {
       codec => rubydebug
   }    
}

<强>输出

{
        "id" => 65,
 "timestamp" => "2015-11-19 11:28:31",
      "type" => "Scheduled",
   "service" => "Road",
      "data" => "Changing the time",
   "success" => 1,
  "trans_id" => "ee565",
  "@version" => "1",
"@timestamp" => "2015-11-19T11:28:31.000Z"
}

正如您所看到的@timestamp匹配事件时间戳

Elasticsearch 索引。

我希望这有助于其他..

Answer 2

请注意我们文档中的_dateparsefailure标记。

您的“时间戳”字段如下所示：2015-11-18 18:21:44 +0000

虽然您的日期{}模式如下所示：YYYY-MM-dd HH：mm：ss，SSS

他们需要匹配。

Answer 3

我遇到了同样的问题，我的jdbc输入过滤器检索到的字段时间戳不是日期过滤器插件。

我认为问题是jdbc输入插件返回日期类型字段，而日期过滤器插件需要解析字符串。

这就是为什么当你通过sql语句将日期字段转换为字符串格式时，它可以工作。

我找到了另一个解决方案：在你的sql语句中只需执行

statement => "select id, timestamp as \"@timestamp\", type, service ..."

PS：\“@ timestamp \”无法使用我的jdbc驱动程序Ucanassess，我用过

[@timestamp]

Logstash JDBC输入，过滤事件时间戳与@timestamp不同

3 个答案: