使用logstash读取.gz文件

时间:2017-08-24 17:43:49

标签: elasticsearch logstash kibana-5

我正在尝试使用logstash 5.5来分析每分钟生成的存档(.gz)文件。 Each.gz文件中包含csv文件。我的.conf文件如下所示:

input {
file {
type => "gzip"
path => [ “C:\data*.gz” ]
start_position => "beginning"
sincedb_path=> "gzip"
codec => gzip_lines
}
}

filter {
csv {
separator => ","
columns => [“COL1”,“COL2”,“COL3”,“COL4”,“COL5”,“COL6”,“COL7”]
}

}

output {
elasticsearch {
hosts => "localhost:9200"
index => "mydata"
document_type => “zipdata”
}
stdout {}
}

最初我因缺少gzip_lines插件而遇到错误。所以,我安装了它。安装此插件后,我可以看到logstash说“成功启动了Logstash API端点”,但没有任何内容被编入索引。我没有在logstash日志中看到弹性搜索中的任何数据索引。当我试图在Kibana获得索引时,它在那里不可用。这意味着logstash不会将数据放入elasticsearch中。

可能是我使用了错误的配置。请提出建议,这样做的正确方法是什么?

0 个答案:

没有答案