kafka连接器如何用于Postgresql和mysql数据库

时间:2018-12-31 17:09:12

标签: mysql postgresql apache-kafka-connect

我正在从这里quick-start-kafka-connect

着手快速入门教程。

本教程显示了如何将mysql数据库表更改流式化为kafka主题。

唯一的一部分是下载所有内容,然后添加具有一些配置属性的/tmp/kafka-connect-jdbc-source.json文件并启动

这是如何在后台运行的?

  

1:是否在特定时间间隔内与数据库和监视器表建立连接?或

     

2:它是否使用复制日志? (我不知道这是怎么回事)

     

3:用于mysql和postgresql的机制是否相同?

1 个答案:

答案 0 :(得分:1)

Debezium监视OpLog。

Confluent的

Kafka Connect JDBC(您已链接到它)可以使用时间间隔,并且该配置由所有JDBC兼容连接(包括MySQL和Postgres)共享。

  

对于使用时间戳的增量查询模式,源连接器使用配置timestamp.delay.interval.ms ...


  

复制日志? (我不知道这是怎么回事)

您可以找到the Debezium guide here,但是Mongo,Postgres,MySQL,MSSQL,Oracle等的这种机制不同。