Question

我大约有500个连接器，每次创建一个新连接器时，都必须等待很长时间才能重新创建以前的连接器。太慢了。

sink.properties如下

h('div', {}, "Hello world")

一些日志如下

{
    "name": "saas-saas_order-worder_fee_price-sink",
    "config": {
        "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
        "errors.log.include.messages": "true",
        "tasks.max": "1",
        "topics": "saasosvc-worder_fee_price",
        "transforms": "unwrap",
        "auto.evolve": "true",
        "name": "saas-saas_order-worder_fee_price-sink",
        "transforms.unwrap.type": "io.debezium.transforms.UnwrapFromEnvelope",
        "auto.create": "true",
        "connection.url": "jdbc:postgresql://postgres:5432/saas?user=postgresuser&password=postgrespw",
        "errors.log.enable": "true",
        "insert.mode": "upsert",
        "pk.mode": "record_value",
        "pk.fields": "id"
    }
}

谢谢

Answer 1

“停止世界”的重新平衡是Kafka Connect的一个已知问题。好消息是，在Apache Kafka 2.3中推出的KIP-415有了一个新的增量重新平衡功能，该功能应该会使情况变得更好。

同时，唯一的其他选择是对Kafka Connect工作程序进行分区，并拥有单独的集群，在它们上面拆分500个连接器（例如，按功能，类型或其他任意因素）。

kafka jdbc接收器连接器：创建或更新一个连接器时，重新创建了所有其他连接器

1 个答案: