Logstash解析多行CSV文件

时间:2017-06-19 21:57:03

标签: csv elasticsearch logstash kibana

我有一个CSV文件,其中包含一些包含“\ n”的字段。该字段在引号中,因此它在excel上正确显示或在python中使用pandas。但是,在logstash中使用CSV过滤器无法正常工作,并提供CSV分析错误或错误的字段。以前有过这方面经验的人吗?

我也在github上看过这个问题:https://github.com/logstash-plugins/logstash-filter-csv/issues/34但它已经有一年了。

1 个答案:

答案 0 :(得分:2)

你试过multiline编解码器吗?

你应该在输入插件中添加这样的东西:

codec => multiline {
      pattern => "^[0-9]"
      negate => "true"
      what => "previous"
    }

它告诉logstash,每个不以数字开头的行都应该与前一行合并

Loading csv in ElasticSearch using logstash