Question

我在Kafka主题中有以下AVRO消息。

{
"table": {
    "string": "Schema.xDEAL"
},
"op_type": {
    "string": "Insert"
},
"op_ts": {
    "string": "2018-03-16 09:03:25.000462"
},
"current_ts": {
    "string": "2018-03-16 10:03:37.778000"
},
"pos": {
    "string": "00000000000000010722"
},
"before": null,
"after": {
    "row": {
        "DEA_PID_DEAL": {
            "string": "AAAAAAAA"
        },
        "DEA_NME_DEAL": {
            "string": "MY OGG DEAL"
        },
        "DEA_NME_ALIAS_NAME": {
            "string": "MY OGG DEAL"
        },
        "DEA_NUM_DEAL_CNTL": {
            "string": "4swb6zs4"
        }           
    }
}

}

当我运行以下查询时。它使用空值创建流。

   CREATE STREAM tls_deal (DEA_PID_DEAL VARCHAR, DEA_NME_DEAL varchar, DEA_NME_ALIAS_NAME VARCHAR, DEA_NUM_DEAL_CNTL VARCHAR) WITH (kafka_topic='deal-ogg-topic',value_format='AVRO', key = 'DEA_PID_DEAL');

但是，当我将AVRO消息更改为以下时，它可以工作。

 {
"table": {
    "string": "Schema.xDEAL"
},
"op_type": {
    "string": "Insert"
},
"op_ts": {
    "string": "2018-03-16 09:03:25.000462"
},
"current_ts": {
    "string": "2018-03-16 10:03:37.778000"
},
"pos": {
    "string": "00000000000000010722"
},
"DEA_PID_DEAL": {
    "string": "AAAAAAAA"
},
"DEA_NME_DEAL": {
    "string": "MY OGG DEAL"
},
"DEA_NME_ALIAS_NAME": {
    "string": "MY OGG DEAL"
},
"DEA_NUM_DEAL_CNTL": {
    "string": "4swb6zs4"
}

}

现在如果我运行上述查询，将填充数据。

我的问题是如果我需要从嵌套字段填充流，我该如何处理？

我无法在KSQL文档页面中找到解决方案。

提前致谢。我很感激帮助。：）

Answer 1

正如Robin所说，这不是当前支持的，（2018年3月22日/ v0.5）。但是，它是一个跟踪功能请求。您可能希望在KSQL仓库中向上投票或跟踪此Github问题：

https://github.com/confluentinc/ksql/issues/638

Answer 2

KSQL目前（2018年3月22日/ v0.5）不支持嵌套Avro。您可以使用单个消息转换来平整来自Kafka Connect的数据。例如，Debezium附带UnwrapFromEnvelope。

如何阅读嵌套的avro字段来创建流？

2 个答案: