kafka jdbc接收器连接器:创建或更新一个连接器时,重新创建了所有其他连接器

时间:2019-06-12 06:38:33

标签: apache-kafka apache-kafka-connect confluent

我大约有500个连接器,每次创建一个新连接器时,都必须等待很长时间才能重新创建以前的连接器。太慢了。

sink.properties如下

h('div', {}, "Hello world")

一些日志如下

{
    "name": "saas-saas_order-worder_fee_price-sink",
    "config": {
        "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
        "errors.log.include.messages": "true",
        "tasks.max": "1",
        "topics": "saasosvc-worder_fee_price",
        "transforms": "unwrap",
        "auto.evolve": "true",
        "name": "saas-saas_order-worder_fee_price-sink",
        "transforms.unwrap.type": "io.debezium.transforms.UnwrapFromEnvelope",
        "auto.create": "true",
        "connection.url": "jdbc:postgresql://postgres:5432/saas?user=postgresuser&password=postgrespw",
        "errors.log.enable": "true",
        "insert.mode": "upsert",
        "pk.mode": "record_value",
        "pk.fields": "id"
    }
}

谢谢

1 个答案:

答案 0 :(得分:0)

“停止世界”的重新平衡是Kafka Connect的一个已知问题。好消息是,在Apache Kafka 2.3中推出的KIP-415有了一个新的增量重新平衡功能,该功能应该会使情况变得更好。

同时,唯一的其他选择是对Kafka Connect工作程序进行分区,并拥有单独的集群,在它们上面拆分500个连接器(例如,按功能,类型或其他任意因素)。