我已经安装了Kafka“ kafka_2.12-0.11.0.0 ”。
启动 zookeper 和 Kafka-server 的服务。
然后我在IntelliJ上创建了一个java项目(包括kafka lib)。
我还包含了JDBC连接所需的SQLite jar。
我最初想过使用confluent.kafka-connect,但由于我的是基于Windows的机器,CLI平台不起作用。
所以我写了一个独立的java程序来连接我的sqlite数据库获取数据并使用自定义Kafka-Producer程序将其作为消息发送,创建主题“connect-test”。
我使用自定义Kafka-Consumer程序收到了相同的数据。 此测试的目的是查看我是否可以对现有的基于Windows的企业应用程序执行相同操作,以将数据流式传输到数据分析平台的仓库中。 我知道我是在独立模式下完成的,但我是朝着正确的方向吗?
您能否建议我是否有更好的方法将我的企业应用程序(基于Java的Custom API + oracle DB + Oracle DB上的另一层)与Kafka集成?
真的很感谢你的帮助。
答案 0 :(得分:0)
Kafka Connect是Apache Kafka的一部分,是与其他系统(包括数据库)集成的推荐方式。 This article解释了与Oracle集成的具体选项,this talk显示了它的实际运行情况。
因为我的基于Windows的机器CLI平台不起作用。
Kafka Connect应该适用于Windows。我不确定CLIplatform
你的意思,因为它是基于Java的,它应该在Windows上运行,如果没有,你可以使用Docker镜像。
免责声明:我为Confluent工作并撰写了与相关的上述文章