配置Kafka Connect Postgress Debezium CDC插件

时间:2019-04-11 22:00:20

标签: postgresql apache-kafka-connect debezium

我正在尝试使用kafka connect读取postgress DB中的更改。 我的本地系统上运行的是Kafka,我想以独立模式使用Kafka connect API来读取Postgress服务器数据库更改。

connect-standalone.sh connect-standalone.properties dbezium.properties

如果有人可以帮助我为CDC postgress debezium连接器设置配置属性,我将不胜感激

https://www.confluent.io/connector/debezium-postgresql-cdc-connector/

我正在按照以下内容来构造属性

https://debezium.io/docs/connectors/postgresql/#how-the-postgresql-connector-works

  

Kafka主题的名称默认采用以下形式   serverName.schemaName.tableName,其中serverName是逻辑名   由database.server.name指定的连接器的名称   配置属性

这是我对dbezium.properties提出的建议

name=cdc_demo
connector.class=io.debezium.connector.postgresql.PostgresConnector
tasks.max=1
plugin.name=wal2json
slot.name=debezium
slot.drop_on_stop=false
database.hostname=localhost
database.port=5432
database.user=postgress
database.password=postgress
database.dbname=test
time.precision.mode=adaptive
database.sslmode=disable

假设我创建一个PG模式名称作为演示,并创建一个表名称作为供应商

所以我需要创建一个名称为 test.demo.suppliers 的主题,以便此插件可以将数据推送到?

还可以有人建议一个带有Postgress Server +的docker映像,并带有合适的复制插件,如wal2json等吗?我很难自己配置postgress和CDC插件。

1 个答案:

答案 0 :(得分:1)

检出the tutorial和相关的Docker Composesample config

您提出的主题听起来很正确,但是如果您将Kafka经纪人配置为自动创建主题(这是IIRC的默认行为),那么它将自动为您创建,并且您无需预先-创造它。