Question

我正在使用debezium作为Postgres的源，并使用kafka作为接收器，然后使用kafka connect将数据发送到雪花。

{
    "schema": { ... },
    "payload": {
        "before": {
            "id": 1
        },
        "after": null,
        "source": {
            "version": "0.9.5.Final",
            "connector": "postgresql",
            "name": "PostgreSQL_server",
            "ts_ms": 1559033904863,
            "snapshot": null,
            "db": "postgres",
            "schema": "public",
            "table": "customers",
            "txId": 556,
            "lsn": 46523128,
            "xmin": null
        },
        "op": "d",
        "ts_ms": 1465581902461
    }
}

Debezium kafka数据，现在op对我来说很重要，因为基于它，如果d我想执行操作，那么我想从表u中删除行，然后更新else insert。

雪花的kafka连接只有两列record_metadata和record_content，如何跟踪操作op？

我是否可以通过debezium和kafka连接使用表流，以便清楚地说明元数据操作（METADATA $ ACTION | METADATA $ ISUPDATE），并且可以在其上创建任务，现在还没有record_metadata和record_content可能（https://docs.snowflake.com/en/user-guide/kafka-connector-overview.html）。此外，我想在kafka中有新数据时立即发送它，因此以某种方式表流将有所帮助，但是如何做到这一点呢？

使用Kafka Connect在雪花和Debezium中创建表流

0 个答案: