Question

我是Logstash和Avro的初学者。我们正在建立一个使用logstash作为kafka队列的生产者的系统。但是，我们遇到的问题是，Logstash生成的avro序列化事件无法通过apache提供的avro-tools jar（版本1.8.2）进行解码。此外，我们注意到Logstash和avro-tools的序列化输出不同。

我们有以下设置：

logstash version 5.5
logstash avro codec version 3.2.1
kafka version 0.10.1
avro-tools jar版本1.8.2

例如，请考虑以下架构：

{
"name" : "avroTestSchema",
"type" : "record",
"fields" : [ {
  "name" : "testfield1",
  "type" : "string"
  },
  {
  "name" : "testfield2",
  "type" : "string"
  }
]
}

和以下json字符串：

{"testfield1":"somestring","testfield2":"anotherstring"}

使用Logstash进行序列化时。 Logstash配置文件：

input {
  stdin {
    codec => json
  }
}

filter {
 mutate {
    remove_field => ["@timestamp", "@version"]
  }
}

output {
  kafka {
    bootstrap_servers => "localhost:9092"
    codec => avro {
      schema_uri => "/path/to/TestSchema.avsc"
    }
    topic_id => "avrotestout"
  }
  stdout {
    codec => rubydebug
  }
}

输出（使用cat）：

FHNvbWVzdHJpbmcaYW5vdGhlcnN0cmluZw==

使用avro-tools序列化时。命令：

java -jar avro-tools-1.8.2.jar jsontofrag --schema-file TestSchema.avsc message.json

输出

somestringanotherstring

命令：

java -jar avro-tools-1.8.2.jar fromjson --schema-file TestSchema.avsc message.json

输出：

Objavro.codenullavro.schema▒{"type":"record","name":"avroTestSchema","fields":[{"name":"testfield1","type":"string"},{"name":"testfield2","type":"string"}]}▒▒▒▒&70▒▒Hs▒U2somestringanotherstring▒▒▒▒&70▒▒Hs▒U

所以我们的问题是：我们如何配置Logstash，使输出与apache avro-tools jar兼容？

更新：我们发现logstash生成的avro输出是base64编码的。但无法找到发生这种情况的地方，以及如何使其兼容avro-tools

Answer 1

如更新中所述，我们发现标准的Logstash Avro编解码器为avro输出添加了非可选的base64编码。我们发现这不受欢迎。所以我们分叉编解码器并使这个编码可配置。我们对此进行了测试，它在我们的几个系统中开箱即用。

可以在github上使用fork：https://github.com/Rubyan/logstash-codec-avro

要设置（或取消设置）base64编码，请将其添加到logstash配置文件中：

output {
     stdout {
        codec => avro {
            schema_uri => "schema.avsc"
            base64_encoding => false
        }
    }
}

无法通过apache avro-tools

1 个答案: