Logstash 5.2不与Kafka 9和AVRO一起使用

Question

我已经使用 logstash-input-kafka 4.1.1 和 logstash-codec-avro 3.0.0 安装了 Logstash 5.2.0 ，试图从 Cloudera Kafka 9 读取数据，但我得到了错误的错误：

codec => avro { schema_uri => "/apps/schema/rocana3.schema"  }

同样适用于 Logstash 2.4 和 logstash-codec-avro 2.0.4。 logstash-codec-avro（3.0.0）

这是我的logstash配置文件：

{{1}}

修改

我使用 Logstash 2.4 与 logstash-codec-avro（3.0.0）和 logstash-input-kafka（2.0.9）它工作正常。我能够从Kafka读取并解码avro数据。

当我使用 logstash-input-kafka 4.1.1 和 logstash-codec-avro 3.0.0 安装 Logstash 5.2.0 时，我能够从Kafka读取数据，但是当我添加{{1}}时，我收到了上面提到的错误。

Answer 1

默认序列化程序在logstash 5中已从字节数组解串器更改为字符串反序列化程序。

https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-kafka.html#plugins-inputs-kafka-consumer_threads

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html#plugins-inputs-kafka-consumer_threads

请在kafka输入中添加以下配置：
key_deserializer_class =＆gt; “org.apache.kafka.common.serialization.ByteArrayDeserializer” value_deserializer_class =＆gt; “org.apache.kafka.common.serialization.ByteArrayDeserializer”