将数据集<行>从Kafka转换为JSON-Java-Spark

时间:2018-08-30 13:48:03

标签: apache-spark apache-kafka

我正在使用Java Spark从Kafka进行阅读,如下所示:

DataFrame<Row> df = spark
.read()
  .format("kafka")
  .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
  .option("subscribe", "topic1")
  .load();
df.selectExpr("CAST(value AS STRING)");

我想使用将此df值“转换”为JSON。

我要这样尝试:

Dataset<Row> jsonDf = spark.read().json(df.toJSON());
jsonDf.select("my.path.to.json.value);

但这要花很长时间,还有另一种方法可以将字符串从kafka主题转换为JSON?

谢谢。

0 个答案:

没有答案