我正在从这里quick-start-kafka-connect
着手快速入门教程。本教程显示了如何将mysql数据库表更改流式化为kafka主题。
唯一的一部分是下载所有内容,然后添加具有一些配置属性的/tmp/kafka-connect-jdbc-source.json
文件并启动
这是如何在后台运行的?
1:是否在特定时间间隔内与数据库和监视器表建立连接?或
2:它是否使用复制日志? (我不知道这是怎么回事)
3:用于mysql和postgresql的机制是否相同?
答案 0 :(得分:1)
Debezium监视OpLog。
Confluent的Kafka Connect JDBC(您已链接到它)可以使用时间间隔,并且该配置由所有JDBC兼容连接(包括MySQL和Postgres)共享。
对于使用时间戳的增量查询模式,源连接器使用配置
timestamp.delay.interval.ms
...
复制日志? (我不知道这是怎么回事)
您可以找到the Debezium guide here,但是Mongo,Postgres,MySQL,MSSQL,Oracle等的这种机制不同。