如何从不以逗号分隔的kafka消息中从json数据中提取值

时间:2018-08-27 10:42:07

标签: apache-spark apache-kafka spark-streaming

我正在尝试使用流阅读Kafka主题,并提取json格式的值。我在Kafka主题中以json格式收到以下消息,但没有用逗号分隔。

如何提取ID和消息的值:

{
    "id":"20168374652257"
    "message":"testFromPubSub2018_09_18_22"
}

我尝试了下面的代码,但是它给出了空值,因为它没有用逗号分隔:

val kafka_data =df.select($"value" cast "string" as "value").
      select(get_json_object($"value", "$.id").as("id"),
        get_json_object($"value", "$.message").as("message"))

预先感谢

0 个答案:

没有答案