Logstash:解析elasticsearch的多行字段

时间:2014-09-20 05:08:00

标签: csv elasticsearch logstash

我尝试为elasticsearch准备一个csv文件。但是,csv文件中有一个多行字段,表示非结构化文本字段。例如,

id_num,text
1,"bla bla bla
bla bla

bla bla bla"
2, "bla bla
bla"

对于没有多行字段的csv,我知道如何处理,例如

input {
    stdin {}
}

filter {
  csv {
    separator => ','
    columns =>  ["id_num","text"]
   }
}

output {
  elasticsearch {
    host => 'localhost'
    index_type => "locality"
    flush_size => 1000
    protocol => 'http'
}

然而,这给了我

Unclosed quote 

错误。 请帮忙!

1 个答案:

答案 0 :(得分:0)

您是否尝试过多线过滤器

例如

filter {
  multiline {
    pattern => "(^.+id_num.+)"
    what => "next"
 }
}