避免在logstash中覆盖默认消息字段

Question

我正在使用logstash来解析我的日志。当我解析json（包含“message”字段）时会覆盖默认的消息字段。我尝试使用json {}过滤器的remove_field选项，但这对我不起作用。

这是我的过滤器代码：

filter {
    mutate {
        gsub => ["message", "\"", "'"]
    }
    mutate {
        gsub => ["message", ".", "_"]
    }
    csv {
        columns => ["TIMESTAMP", "HEADERS", "FIELD1", "FIELD2", "FIELD2_TIME", "INTER_FIELD2"]
        separator => "|"
    }
    mutate {
        gsub => ["FIELD1", "'", '"']
    }

  #Removing message field inside FIELD1 json to avoid overriding
    json {
        source => "FIELD1"
        remove_field => ["message"]
    }
    mutate {
        gsub => ["FIELD2", "'", '"']
    }
    json {
        source => "FIELD2"
        remove_field => ["message"]
    }
}

如何避免覆盖defaultmessage字段？

Answer 1

有两种选择：

1. 在调用json {}过滤器之前移动[message]字段（mutate-＆gt; rename）。
2. 使用＆＃39;目标＆＃39; json {}过滤器的param将json数据放在文档根目录之外的其他位置。