filebeat / logstash将json转换为csv格式

Question

我是Filebeat / logstash配置的新手，需要建议和示例代码。收割机将dsv文件发送到filebeat，并且文件拍将接收dsv输入并将json输出发送到Logstash服务器。

我可以将dsv文件格式发送到logstash并过滤输入内容并指定csv格式吗？要获取csv输出，请对filebeat和logstash进行哪些更改？

我试图在logstash中将json输入转换为csv，但得到一个空文件。我们正在使用logstash 6.x版本。 Filebeat输入的dsv文件如下所示：

dbname~dbdate~dbtime
db01~120-03-2019~08:15

Answer 1

如果您可以通过filebeat将db01~120-03-2019~08:15发送到logstash，则可以使用摘要过滤器或csv过滤器（使用~作为分隔符）轻松地解析该字符串。然后，您可以使用csv输出将csv写入文件。

或者，您可以使用带有gsub的mutate过滤器，以在消息中用逗号替换~，然后将消息与文件输出一起写入文件。