我正在使用Java Spark从Kafka进行阅读,如下所示:
DataFrame<Row> df = spark
.read()
.format("kafka")
.option("kafka.bootstrap.servers", "host1:port1,host2:port2")
.option("subscribe", "topic1")
.load();
df.selectExpr("CAST(value AS STRING)");
我想使用将此df值“转换”为JSON。
我要这样尝试:
Dataset<Row> jsonDf = spark.read().json(df.toJSON());
jsonDf.select("my.path.to.json.value);
但这要花很长时间,还有另一种方法可以将字符串从kafka主题转换为JSON?
谢谢。