如何在Apache Kafka中访问远程数据库?

时间:2018-09-02 18:42:06

标签: mysql apache-kafka database-connection apache-kafka-connect debezium

我是kafka的初学者。在这里,我正在尝试在kafka中建立实时数据管道。我有位于远程的数据库。我真的不明白如何访问数据库以及如何像实时更新数据库一样不断进行更新。我读到了有关debezium [https://debezium.io/docs/tutorial/]的信息,但是在整个教程中,他们都没有显示任何示例,这些示例已从实时远程数据库中提取数据。我有MySQL数据库。

1 个答案:

答案 0 :(得分:1)

理想情况下,Debezium将在尽可能靠近数据库服务器的位置运行

但是,如果您看一下本教程,则可以指定一个远程Docker容器,并且可以将主机名替换为与您的环境匹配的主机名

"connector.class":  "io.debezium.connector.mysql.MySqlConnector", 
"tasks.max": "1", 
"database.hostname": "... Your server here... ", 
"database.port": "3306",

另一个选择是Kafka Connect JDBC连接器,您可以看到Confluent的一些博客文章,介绍如何配置它们