Question

我希望有人可以帮助我。我有以下设置：

shipper >> redis >> logstash >> elasticsearch

Logstash有一个输入，用于从redis中提取日志数据。以下JSON行以redis形式出现：

{
  "@fields": {
    "level": "INFO",
    "mdc": {},
    "file": "ContextLoader.java",
    "class": "org.springframework.web.context.ContextLoader",
    "line_number": "273",
    "method": "initWebApplicationContext"
  },
  "@timestamp": "2013-12-18T11::29:29.115+01:00",
  "@message": "Root WebApplicationContext: initialization started",
  "@source_host": "test-host"
}

我使用的logstash配置很简单：

input {
  redis {
    data_type => "list"
    key => "logstash:test:host"
    codec => "json"
  }
}
filter{
  date {
    match => [ "@timestamp", "dd-MMM-YYYY:HH:mm:ssZ", "dd-MMM-YYYY:HH:mm:ss Z", "ISO8601" ]
  }
}
output {
  stdout{
    debug => true
  }
}

当我使用上面的配置时，我看到使用了logstash事件的时间戳(2013-12-18T12:53:14.169Z)，我从调试屏幕收到以下错误：

Failed parsing date from field {:field=>"@timestamp", :value=>"2013-12-18T12:53:14.177Z", :exception=>#<TypeError: cannot convert instance of class org.jruby.RubyTime to class java.lang.String>, :level=>:warn}

由此，我可以得出以下结论：

当日志条目作为输入进入时，json日志条目的时间戳将被logstash的timestamp事件覆盖。然后，当日期过滤器尝试解析时间戳时，它会失败，因为没有匹配。

我想使用json日志条目的时间戳作为我的logstash事件时间戳。我怎样才能做到这一点？我使用logstash版本1.3.1。

Answer 1

我认为您可能误解了date filter（看起来不是1.3.1的文档）是如何工作的，它需要一个字段，并根据您设置的模式对其进行解析并使用该模式匹配以设置@timestamp字段的值（默认情况下）。由于您正在使用@timestamp字段，将其与模式匹配，然后尝试使用它设置@timestamp字段，因此您所做的事情是多余的。

如果您有一个不同的时间戳字段，您希望从我希望它可能起作用的日期，只要您使用该字段的正确模式。

我还建议您更新到1.4.2，因为您运行的旧版本可能有问题。

从JSON中提取时间戳并将其用作logstash事件时间戳

1 个答案: