如何基于连接器名称获取Kafka源连接器架构

Question

我正在使用Confluent JDBC Kafka连接器将消息发布到主题中。源连接器将在每次轮询时将数据连同模式发送到主题。我想检索此架构。

有可能吗？怎么样？谁能建议我

我的意图是基于Kafka连接器在轮询中构建的架构来创建KSQL流或表。

Answer 1

执行此操作的最佳方法是使用Avro，其中架构独立存储，并且由Kafka Connect和KSQL自动使用。

您可以通过将Kafka Connect配置为使用AvroConverter来使用Avro。在您的Kafka Connect工作程序配置集中：

key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://schema-registry:8081

（将schema-registry更新为您的架构注册表运行的主机名）

从那里开始，在KSQL中，您只需使用

CREATE STREAM my_stream WITH (KAFKA_TOPIC='source_topic', VALUE_FORMAT='AVRO');

您无需在此指定架构本身，因为KSQL是从架构注册表中获取的。

您可以阅读有关转换器和串行器here的更多信息。

免责声明：我为Confluent工作，并写了引用的博客文章。