阻止Kafka JDBC Sink记录__connect_partition和__connect_offset

时间:2018-10-01 21:48:04

标签: jdbc apache-kafka apache-kafka-connect confluent

我在Kafka中有一个日志压缩主题,该主题正在通过JDBC接收器连接器写入Postgres。尽管在连接器上设置了mode=upsert,但它仍在接收器数据库中为每个值添加唯一行,因为它记录了主题偏移量(__connect_offset)和分区(__connect_partition)到每一行以及数据。

如何禁用JDBC Sink Connector记录主题信息(我不在乎)?添加仅捕获我的数据列的fields.whitelist不能成功阻止此元数据爬到我的数据库中。

以下SMT也不起作用:

"transforms": "blacklist",
"transforms.blacklist.type": "org.apache.kafka.connect.transforms.ReplaceField$Value",
"transforms.blacklist.blacklist": "__connect_partition, __connect_offset"

1 个答案:

答案 0 :(得分:0)

我的问题……我在连接器上配置了我的主键。我以为我正确地告诉它将主题键转换为表主键。最后,以下连接器配置起作用了:

"pk.mode": "record_key",
"pk.fields": "[Key column name here]"