我有这种情况，我需要从oracle数据库中获取数百万条记录，然后需要将这些记录以1000块的形式发送给Apache Kafka生产者。
再次获取下次记录时，我必须避免将已经推送的记录拉到Kafka并选择更新的记录。 它的delta加载处理，
如果我应该遵循此方案的任何方法，请告诉我。
提前致谢。
答案 0 :(得分：1)
使用CDC将来自Oracle等数据库的更改流式传输到Kafka。您有多种选择，包括GoldenGate，DBVisit，Attunity等。
或者，根据对递增键或时间戳的更改，使用JDBC Kafka Connect connector将记录流式传输到Kafka。这不像CDC那样具有可扩展性或灵活性的解决方案 - 但具有免费的优势:)