Logstash kafka主题作为elasticsearch indexname的一部分

时间:2017-07-04 09:06:41

标签: elasticsearch apache-kafka logstash

我想使用kafka主题作为es-indexname的一部分。这是我的例子,但这不起作用:

input {
  kafka {    
    ...
    decorate_events => true
  }
}

filter {    
  mutate {
    add_field => {"[@metadata][index]" => "[kafka][topic]"}
  }
}

output {
  elasticsearch {
    index => "kafka-%{[@metadata][index]}-%{+YYYY.MM.dd}"
    ...
  }
}

有人能在此logstash.conf中找到问题吗?

1 个答案:

答案 0 :(得分:1)

你好这是工作配置:

input {
  kafka {    
    ...
    decorate_events => true
  }
}

filter {    
  mutate {
    add_field => {"[@metadata][index]" => "%{[kafka][topic]}"}
  }
}

output {
  elasticsearch {
    index => "kafka-%{[@metadata][index]}-%{+YYYY.MM.dd}"
    ...
  }
}