使用Kafka Connect API JDBC Sink Connector示例的Oracle数据库的Kafka主题

Question

我知道要编写一个Kafka使用者并将每个记录插入/更新到Oracle数据库中，但是我想为此目的利用Kafka Connect API和JDBC Sink Connector。除了属性文件外，在搜索中我找不到完整的可执行示例，该示例包含详细的步骤来配置和编写Java相关代码以使用带有json消息的Kafka主题以及使用Kafka插入/更新（合并）Oracle数据库中的表将API与JDBC Sink连接器连接。有人可以说明包含配置和依赖项的示例吗？这种方法有什么缺点吗？当表格数据增加到数百万时，我们是否会预料到任何潜在的问题？

谢谢。

Answer 1

由于JDBC连接器是通用的，因此不会有您的特定用例的示例。

Here is one configuration example和Oracle数据库

您需要的只是

1. 某种格式的主题
2. key.converter和value.converter设置为反序列化该主题
3. 您的JDBC字符串和数据库模式（表，投影字段等）
4. 其他JDBC Sink Specific Options

所有这些都放在Java属性/ JSON文件中，而不是Java源代码

如果在创建此配置时遇到特定问题，请发表评论。

  

当表数据增加到数百万时，我们预计会出现任何潜在的问题吗？

嗯，那些问题将与数据库服务器有关，而不是与Kafka Connect有关。例如，在接受连续写入时，磁盘已满或负载增加。

  

这种方法有什么缺点吗？

如果确实需要，则必须分别处理重复数据删除或记录到期时间（例如GDPR）。