如何在Kafka Connect中克隆字段？

Question

我正在配置Kafka Connect，以将数据从Kafka复制到数据库

我需要将某些字段中的值放入数据库的两列中。

我的Kafka消息有两个字段Select MD5(“text here”)，name。目标表具有3列age，name和displayName。我想从Kafka消息中克隆age的值，以将其放在列name和name中。

有没有可以应用的Transform？

Answer 1

正如Driss Nejjar所说，这通常是Single Message Transform最适合的事情。但是，Apache Kafka附带没有Transform，我可以看到这样做。您可以write your own，也可以使用KSQL：

CREATE STREAM new AS SELECT name, name as displayName, age FROM source;

这将使用您的source主题（由Connect填充），并添加其他字段displayName，然后写入名为new的新Kafka主题。

免责声明：我为KSQL项目背后的公司Confluent工作。