避免在Kafka连接器插入模式下出现致命的重复键错误

时间:2018-08-05 13:44:06

标签: jdbc apache-kafka apache-kafka-connect

我使用Kafka JDBC连接器将数据插入Postgres数据库。我的问题是我可能有来自共享同一密钥的不同主题(或其他系统)的重复数据,并且如果这些行已经存在,则需要避免插入这些行。

不幸的是,如果我在Kafka JDBC连接器上使用“插入”策略,则该策略将失败并由于不可恢复的错误(重复键)而退出。我不想使用“ upsert”模式,因为如果该行已被系统的其他部分插入,则我不想覆盖它。

我非常确定Postgres具有ON CONFLICT(id)DO NOTHING子句。所以 仅当指定的键不存在或至少避免在这种情况下导致失败/退出连接器时,才可以通过Kafka连接器接收器插入数据吗?

0 个答案:

没有答案