Question

是否可以将字符串字段添加到KSQL表/流，其中将包含原始消息的JSON的一部分。

例如，

原始消息：

{userId:12345, 
 service:"service-1", 
 "debug":{
          "msg":"Debug message", 
          "timer": 11.12}
}

因此，我们需要将userId映射到userId BIGINT，将service映射到service STRING，将debug映射到debug STRING，其中将包含{{1 }}作为字符串。

Answer 1

是的，您可以简单地将其声明为VARCHAR。在这里，您可以将其视为恰好是JSON的字符串，也可以使用EXTRACTJSONFIELD函数对其进行进一步操作。

将示例消息发送到主题：

echo '{"userId":12345, "service":"service-1", "debug":{ "msg":"Debug message", "timer": 11.12} }' | kafkacat -b localhost:9092 -t test_topic -P

声明流：

ksql> CREATE STREAM demo (userid BIGINT, service VARCHAR, debug VARCHAR) WITH (KAFKA_TOPIC='test_topic', VALUE_FORMAT='JSON');

 Message
----------------
 Stream created
----------------

查询列：

ksql> SET 'auto.offset.reset' = 'earliest';
Successfully changed local property 'auto.offset.reset' to 'earliest'. Use the UNSET command to revert your change.
ksql> SELECT USERID, SERVICE, DEBUG FROM demo;
12345 | service-1 | {"msg":"Debug message","timer":11.12}

访问嵌套的JSON字段：

ksql> SELECT USERID, SERVICE, EXTRACTJSONFIELD(DEBUG,'$.msg') FROM demo;
12345 | service-1 | Debug message

ksql> SELECT USERID, SERVICE, EXTRACTJSONFIELD(DEBUG,'$.timer') FROM demo;
12345 | service-1 | 11.12

KSQL TABLE或STREAM中的字符串字段，包含原始JSON消息的一部分

1 个答案: