我正在尝试使用kafka connect读取postgress DB中的更改。 我的本地系统上运行的是Kafka,我想以独立模式使用Kafka connect API来读取Postgress服务器数据库更改。
connect-standalone.sh connect-standalone.properties dbezium.properties
如果有人可以帮助我为CDC postgress debezium连接器设置配置属性,我将不胜感激
https://www.confluent.io/connector/debezium-postgresql-cdc-connector/
我正在按照以下内容来构造属性
https://debezium.io/docs/connectors/postgresql/#how-the-postgresql-connector-works
Kafka主题的名称默认采用以下形式 serverName.schemaName.tableName,其中serverName是逻辑名 由database.server.name指定的连接器的名称 配置属性
这是我对dbezium.properties提出的建议
name=cdc_demo
connector.class=io.debezium.connector.postgresql.PostgresConnector
tasks.max=1
plugin.name=wal2json
slot.name=debezium
slot.drop_on_stop=false
database.hostname=localhost
database.port=5432
database.user=postgress
database.password=postgress
database.dbname=test
time.precision.mode=adaptive
database.sslmode=disable
假设我创建一个PG模式名称作为演示,并创建一个表名称作为供应商
所以我需要创建一个名称为 test.demo.suppliers 的主题,以便此插件可以将数据推送到?
还可以有人建议一个带有Postgress Server +的docker映像,并带有合适的复制插件,如wal2json等吗?我很难自己配置postgress和CDC插件。
答案 0 :(得分:1)
检出the tutorial和相关的Docker Compose和sample config。
您提出的主题听起来很正确,但是如果您将Kafka经纪人配置为自动创建主题(这是IIRC的默认行为),那么它将自动为您创建,并且您无需预先-创造它。