Kafka SMT ValueToKey - 如何使用多个值作为关键？

Question

我使用Confluent JDBCSourceConnector从Oracle表中读取数据。我正在尝试使用SMT生成由3个连接字段组成的密钥。

d3

使用上面的转换，我得到这样的结果：

transforms=createKey
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=BUS_OFC_ID_CD,SO_TYPE,SO_NO

我想要像：

{"BUS_OFC_ID_CD":"111","SO_TYPE":"I","SO_NO":"55555"}

关于如何仅连接值的任何想法？

Answer 1

我无法在属性文件中解决以上问题。因此，解决方法是：

• 创建一个视图（我们已经必须这样做才能将mode = timestamp设置为 与我们的Oracle数据库一起工作）
• 添加一个附加字段，其中包含KEYNAME的串联值
• 提取级联值以用作键。

例如：

CREATE VIEW XX_TEST_V AS 
SELECT BUS_OFC_ID_CD, SO_TYPE, SO_NO, BUS_OFC_ID_CD||SO_TYPE||SO_NO as KEYNAME 
FROM XX_TEST;

这将为您提供

的JSON密钥消息

{"KEYNAME ":"111I55555"}

要剥离JSON以使文本仅在属性文件中完成

例如：

transforms=createKey,extractString
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=KEYNAME
transforms.extractString.type=org.apache.kafka.connect.transforms.ExtractField$Key
transforms.extractString.field=KEYNAME

这应该为您提供以下内容

"111I55555" 

问候 彼得