Debezium mongodb连接器属性可将cdc限制为特定集合

时间:2019-12-11 05:48:28

标签: mongodb apache-kafka-connect mongodb-atlas debezium mongodb-kafka-connector

我们能否限制在debezium mongodb连接器配置中的连接器属性中检索到的数据量。由于debezium在数据库中查找cdc,根据我的理解,这是针对整个数据库的,所以我找不到一种限制少数特定收藏的方法。 我在debezium连接器中使用mongodb atlas连接链接。

以下是我的连接器配置:

{
    "name": "inventory-connector",
    "config": {
        "connector.class" : "io.debezium.connector.mongodb.MongoDbConnector",
        "tasks.max" : "1",
        "mongodb.hosts" : "mongodb+srv link",
        "mongodb.name" : "database",
        "mongodb.user" : "user1",
        "mongodb.password" : "password",
        "mongodb.ssl.enabled" : true,
        "database.whitelist" : "db[.]*",
        "database.history.kafka.bootstrap.servers" : "kafka:9092",
        "transforms": "route",
        "transforms.route.type" : "org.apache.kafka.connect.transforms.RegexRouter",
        "transforms.route.regex" : "([^.]+)\\.([^.]+)\\.([^.]+)",
        "transforms.route.replacement" : "$3"
    }
}

如何配置它以仅查找数据库中的特定集合

1 个答案:

答案 0 :(得分:1)

根据Debezium Connector for MongoDB documentation 您可以在连接器配置上使用collection.whitelist来解决问题