数据被推送到kafka服务器后，删除源中的数据

Question

我正在使用汇合平台3.3从Oracle数据库中提取数据。将数据推送到kafka服务器后，应在数据库中删除检索到的数据。

有什么办法吗？请建议。

Answer 1

Kafka没有默认的方法。

您如何使用Kafka Connect或您编写的自定义代码从数据库中读取数据？

如果是后者，我建议在您的代码中实施删除，请在Kafka定期确认发送和批量删除后收集ID。

或者，您可以编写一个小作业，使用与实际目标系统不同的使用者组来读取您的Kafka主题，并根据它从主题中提取的记录进行删除。如果你每隔几分钟，几小时运行一次这个工作......你也可以跟上发送的数据。