Question

背景

我有这个方案：从我的应用程序的日志通过rsyslog到中央日志服务器，然后到Logstash和Elasticsearch。来自app的日志是一个纯JSON，但是rsyslog会添加到log＆＃34; timestamp＆＃34;，＆＃34; app name＆＃34;和＆＃34;服务器名称＆＃34;的Fileds。日志变成了这个：

timestamp app-name server-name [JSON]

问题

如何使用Logstash过滤器删除前三个字段？我可以按位置编号获取字段（例如在awk中）并执行以下操作：

filter {
  somefilter_name {
      remove_field => $1, $2, $3 
  }
}

或许我的愿景完全错了，我必须以另一种方式做到这一点？

谢谢！

Answer 1

使用grok {}匹配它们（它们可能自己有用！）并将事件的其余部分放回[message]字段：

给出如下输入：

2015-06-16 13:37:30 myApp myServer { "jsonField": "jsonValue" }

这个配置：

grok {
     pattern => "%{TIMESTAMP_ISO8601:timestamp} %{WORD:app} %{WORD:server} %{GREEDYDATA:message}"
     overwrite => [ "message" ]
}

json {
    source => "message"
}

将生成此文件：

{
   "message" => "{ \"jsonField\": \"jsonValue\" }",
   "@version" => "1",
   "@timestamp" => "2015-06-16T20:38:55.658Z",
   "host" => "0.0.0.0",
   "timestamp" => "2015-06-16 13:37:30",
   "app" => "myApp",
   "server" => "myServer",
   "jsonField" => "jsonValue"
}

Logstash。按位置编号

1 个答案: