如何使用存储过程配置Kafka JDBC Source Connector?

时间:2019-08-18 17:23:53

标签: jdbc apache-kafka apache-kafka-connect

我对Kafka并不陌生,我正在做PoC(我的第一个Kafka应用程序),很好奇是否有人遇到过使用自定义JDBC Source Connector或使用自定义JDBC Source Connector的工作,该自定义JDBC Source Connector使用存储过程从Oracle导出数据进入卡夫卡?

我知道SO社区可以将其视为一个开放性问题,但感谢您的耐心配合,我们将不胜感激。

谢谢!

某些背景

  • 我已经在Oracle中拥有存储过程,现有的Spring应用程序使用这些存储过程来提取和加载新DB中的数据(对于现有企业应用程序的新版本)。

  • 新数据库中的表结构与旧数据库中的表结构不同。

  • Spring应用程序(使用Spring JDBC,并与存储过程,行映射器等一起使用)被开发为PoC,用于检查连接性,集成并将数据加载到新DB中。

  • 现在它可以工作了,我们正在尝试引入Kafka,它将实际存储数据并然后将其加载到新数据库中。 JDBC Sink连接器将在以后开发。

  • 我正在寻找一个示例(使用Java,Maven,Spring),可以帮助我开始构建自定义连接器。大多数示例/文档显示的 curl 示例不适合我现有的应用。我可能在这里错过了一些东西。

1 个答案:

答案 0 :(得分:0)

我们可以通过源连接器属性调用SP-查询:通过创建临时表并插入数据在此处调用sp