如何读取Logstash输入的gzip JSON？

Question

对于json

我可以使用

input {
  tcp {
    codec => json
  }
}

压缩后的内容，

我可以使用

input {
  tcp {
    codec => gzip_lines
  }
}

我如何阅读gzip压缩的json输入？

我的输入是通过网络而不是文件...

Answer 1

您需要安装gzip_lines插件并使用更高版本的ELASTIC Stack。

命令 bin / logstash-plugin安装logstash-codec-gzip_lines

请参阅随附的示例配置文件

input {
  file {
     type => "gzip"
     path => "/Users/sonupajai/Desktop/workspace/data/logs*.gz"
     mode => "read"
     file_completed_action => "log"
     file_completed_log_path => "/Users/sonupajai/Desktop/workspace/data/log.txt"
  }
}
filter {
    json {
        source => "message"
        target => "message"
    }
}

output {
    elasticsearch { 
    hosts => ["localhost:9200"]
    index => "json-log2-%{+YYYY.MM.dd}"
  }
}