在没有Confluent Schema Registry的情况下使用KafkaConnect

时间:2018-09-14 13:40:29

标签: apache-kafka apache-kafka-connect confluent-schema-registry

我们在当前基础架构中安装了香草apache Kafka,我们开始记录一些要使用Kafka Connect处理的数据。当前,我们使用Avro作为消息格式,但是基础架构中没有Schema Registry。 将来,我们计划用Confluent替换当前的堆栈,并使用Schema Registry and Connect,但是一段时间后,我们只需要为此部署Connect。

是否可以以某种方式配置Connect接收器,以便它们使用显式的avsc文件或模式,而无需连接到Schema Registry,也可以不使用带有魔术字节和模式ID的Confluent格式?

1 个答案:

答案 0 :(得分:2)

是的,但是您将必须实现自己的Converter来处理原始的Avro记录。然后,您将指定avsc文件的位置,或者使用[value|key].converter名称空间在连接器配置中提供Schema的服务。

例如,合流AvroConverter需要一个属性来告诉它Schema Registry在哪里:

value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://schema-registry:8081

那么您可以复制Confluent AvroConverter,但可以提供avsc文件的路径吗?