在Kafka Connect源连接器中使用消息密钥

Question

我正在使用Kafka connect JDBC源连接器从数据库中的视图中读取并将其发布到kafka上，效果很好。

我的用例是用户可以创建多个对象，并且对象的顺序在我的应用程序中很重要。我想将用户ID用作我在主题中发布的所有消息的消息键，以维持其顺序。

我的问题是如何在Kafka connect源连接器中定义消息密钥？

Answer 1

通过向连接文件源配置文件添加以下代码，可以使用Kafka Connect的SMT（单消息转换）功能。

transforms=createKey
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=UserId <name of user id column>

有关SMT here

的更多信息