Kafka JDBC Sink Connector:模式中的可选字段

时间:2020-02-11 13:52:49

标签: json jdbc apache-kafka apache-kafka-connect confluent-platform

我有一个主题,其中传输将由kafka jdbc接收器连接器使用的记录(到Postgres中)。这些记录被 upsert 存入数据库,并且可能在没有所有字段的情况下生成,特别是当它是 update 时。

但是,正如在另一个stackoverflow answer中看到的那样,“字段的值被标记为可选的,必须位于消息有效负载中。”

我的一些记录意味着更新不像下面的示例那样“完整”: 我有一个记录:User(name: string, age: int),并且想更新它的年龄,我们的系统只会产生:

{
    "schema": {
        "type": "struct",
        "fields": [{
                "field": "name",
                "type": "string",
                "optional": true
            },
            {
                "field": "age",
                "type": "int64",
                "optional": true
            }
        ]
    },
    "payload": {
        "age": 33
    }
}

据我了解,jdbc连接器将能够更新有效载荷中存在的字段,对吗?

还可以只生成与有效负载匹配的架构吗?即:在此记录的架构中,我们只有“年龄”。

0 个答案:

没有答案