Kafka到数据库数据流水线

Question

我有数据输入到Kafka，我想将数据从kafka推送到数据库（Postgresql）。 我正在按照此链接“ https://hellokoding.com/kafka-connect-sinks-data-to-postgres-example-with-avro-schema-registry-and-python/”的步骤进行操作，但出现错误。有任何建议。

Answer 1

这不是必需的代码，这可以通过使用Confluent上可用的Kafka connect和mysql连接器来实​​现。

https://www.confluent.io/hub/confluentinc/kafka-connect-jdbc

Answer 2

您得到的错误是：

Failed to deserialize the data for topic
Error deserializing Avro message
Unknown magic byte

这是因为您指定了Avro转换器，但是主题中的数据不是Avro。

有关详情，请参见本文：https://www.confluent.io/blog/kafka-connect-deep-dive-converters-serialization-explained