我大约有500个连接器,每次创建一个新连接器时,都必须等待很长时间才能重新创建以前的连接器。太慢了。
sink.properties如下
h('div', {}, "Hello world")
一些日志如下
{
"name": "saas-saas_order-worder_fee_price-sink",
"config": {
"connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
"errors.log.include.messages": "true",
"tasks.max": "1",
"topics": "saasosvc-worder_fee_price",
"transforms": "unwrap",
"auto.evolve": "true",
"name": "saas-saas_order-worder_fee_price-sink",
"transforms.unwrap.type": "io.debezium.transforms.UnwrapFromEnvelope",
"auto.create": "true",
"connection.url": "jdbc:postgresql://postgres:5432/saas?user=postgresuser&password=postgrespw",
"errors.log.enable": "true",
"insert.mode": "upsert",
"pk.mode": "record_value",
"pk.fields": "id"
}
}
谢谢
答案 0 :(得分:0)
“停止世界”的重新平衡是Kafka Connect的一个已知问题。好消息是,在Apache Kafka 2.3中推出的KIP-415有了一个新的增量重新平衡功能,该功能应该会使情况变得更好。
同时,唯一的其他选择是对Kafka Connect工作程序进行分区,并拥有单独的集群,在它们上面拆分500个连接器(例如,按功能,类型或其他任意因素)。