我正在尝试使用流阅读Kafka主题,并提取json格式的值。我在Kafka主题中以json格式收到以下消息,但没有用逗号分隔。
如何提取ID和消息的值:
{
"id":"20168374652257"
"message":"testFromPubSub2018_09_18_22"
}
我尝试了下面的代码,但是它给出了空值,因为它没有用逗号分隔:
val kafka_data =df.select($"value" cast "string" as "value").
select(get_json_object($"value", "$.id").as("id"),
get_json_object($"value", "$.message").as("message"))
预先感谢