转换JSON字符串的DataFrame

Question

是否可以使用Spark 2.4将包含JSON字符串的DataFrame转换为包含JSON字符串的类型表示形式的DataFrame？

例如：给定以下定义，我想使用从JSON字符串推断出的模式转换jsonDF中的单列。

val jsonDF = spark.sparkContext.parallelize(Seq("""{"a": 1, "b": 2}""")).toDF

Answer 1

DataFrameReader可以从字符串数据集中读取JSON。例如，使用toDS代替toDF

val jsonDS = Seq("""{"a": 1, "b": 2}""").toDS
spark.read.json(jsonDS).show()

输出：

+---+---+
|  a|  b|
+---+---+
|  1|  2|
+---+---+