我们在当前基础架构中安装了香草apache Kafka,我们开始记录一些要使用Kafka Connect处理的数据。当前,我们使用Avro作为消息格式,但是基础架构中没有Schema Registry。 将来,我们计划用Confluent替换当前的堆栈,并使用Schema Registry and Connect,但是一段时间后,我们只需要为此部署Connect。
是否可以以某种方式配置Connect接收器,以便它们使用显式的avsc文件或模式,而无需连接到Schema Registry,也可以不使用带有魔术字节和模式ID的Confluent格式?
答案 0 :(得分:2)
是的,但是您将必须实现自己的Converter来处理原始的Avro记录。然后,您将指定avsc文件的位置,或者使用[value|key].converter
名称空间在连接器配置中提供Schema的服务。
例如,合流AvroConverter
需要一个属性来告诉它Schema Registry在哪里:
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://schema-registry:8081
那么您可以复制Confluent AvroConverter,但可以提供avsc文件的路径吗?