Kafka Connect JDBC接收器连接器

时间:2019-01-23 18:33:45

标签: jdbc apache-kafka apache-kafka-connect confluent

我正在尝试将主题(json数据)中的数据写入MySql数据库。我相信我想要一个JDBC Sink连接器。

如何配置连接器以将主题中的json数据映射到如何将数据插入数据库中。

我唯一能找到的文档就是这个。

  

”接收器连接器需要了解架构,因此您应该使用   合适的转换器Schema随附的Avro转换器   注册表或启用了架构的JSON转换器。卡夫卡唱片   键(如果存在)可以是原始类型或Connect结构,并且   记录值必须是Connect结构。从中选择字段   连接结构必须是原始类型。如果主题中的数据   不是兼容格式,则实现自定义Converter可能是   必要的。”

但是您如何配置?有例子吗?

1 个答案:

答案 0 :(得分:3)

  

我认为那意味着您需要使用Confluent Schema Registry?

要获得“更好”的架构支持,请选择是。但是不,不是必需的。

您可以将JsonConverter与schemas.enable=true

一起使用

尽管如此,您的JSON消息仍需要像这样

{
   "schema" : {
      ... data that describes the payload
   }, 
   "payload": {
      ... your actual data
   }
}

有关此格式的参考,您可以查看this blog

您可以使用Kafka Streams or KSQL来更轻松地将“无模式” JSON转换为schema-d Avro有效负载