我使用卡夫卡吗?

时间:2018-06-11 13:53:52

标签: apache-kafka streaming kafka-consumer-api kafka-producer-api apache-kafka-connect

我已经安装了Kafka“ kafka_2.12-0.11.0.0 ”。

启动 zookeper Kafka-server 的服务。

然后我在IntelliJ上创建了一个java项目(包括kafka lib)。

我还包含了JDBC连接所需的SQLite jar。

我最初想过使用confluent.kafka-connect,但由于我的是基于Windows的机器,CLI平台不起作用。

所以我写了一个独立的java程序来连接我的sqlite数据库获取数据并使用自定义Kafka-Producer程序将其作为消息发送,创建主题“connect-test”。

我使用自定义Kafka-Consumer程序收到了相同的数据。 此测试的目的是查看我是否可以对现有的基于Windows的企业应用程序执行相同操作,以将数据流式传输到数据分析平台的仓库中。 我知道我是在独立模式下完成的,但我是朝着正确的方向吗?

您能否建议我是否有更好的方法将我的企业应用程序(基于Java的Custom API + oracle DB + Oracle DB上的另一层)与Kafka集成?

真的很感谢你的帮助。

1 个答案:

答案 0 :(得分:0)

Kafka Connect是Apache Kafka的一部分,是与其他系统(包括数据库)集成的推荐方式。 This article解释了与Oracle集成的具体选项,this talk显示了它的实际运行情况。

  

因为我的基于Windows的机器CLI平台不起作用。

Kafka Connect应该适用于Windows。我不确定CLIplatform你的意思,因为它是基于Java的,它应该在Windows上运行,如果没有,你可以使用Docker镜像。

免责声明:我为Confluent工作并撰写了与相关的上述文章