LogStash Kafka输出/输入无效

Question

我尝试将logstash与kafka经纪人一起使用。它无法整合在一起。

每个版本都是，

• logstash 2.4
• kafka 0.8.2.2 with scala 2.10

kafka输入配置文件是：

input { 
  stdin{
  }      
}
output{
  stdout {
    codec => rubydebug
  }

  kafka {
    bootstrap_servers => 10.120.16.202:6667,10.120.16.203:6667,10.120.16.204:6667'
    topic_id => "cephosd1"
  }
}

我可以从kafka列出主题cephosd1。 标准输出也可以打印出内容。

但我无法从kafka-console-consumer.sh中读到任何内容。

Answer 1

我认为您有兼容性问题。如果您检查Logstash，Kafka和kafka输出插件之间的version compatibility matrix，您会看到Logstash 2.4中的kafka输出插件使用Kafka 0.9客户端版本。

如果你有一个Kafka经纪人0.8.2.2，它与客户端版本0.9不兼容（反之亦然）。您可以降级到Logstash 2.0或将Kafka经纪商升级到0.9。