kafka hdfs sink连接器是否支持主题级别键和值转换器？

Question

在hdfs sink连接器中，我需要在主题级别配置键和值转换器，即使用不同转换器的不同主题。有可能吗？

Answer 1

转换器是可以在连接器级别覆盖的属性。这意味着Connector实例可以覆盖Connect工作者配置中为转换器全局设置的值。

因此，尽管无法按主题覆盖，但将使用相同转换器类型的主题分组（在每个连接器实例中）可以实现与您以更实际的方式描述的内容接近的内容。

Answer 2

您只需为要使用不同键/值转换器的主题创建不同的工作人员配置文件。

例如，如果您想使用Avro密钥解析主题，请使用

key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081

而另一个（比如没有架构的JSON格式）可以使用

key.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false

然后，您可以在distributed mode中运行这些工作程序配置文件。