Scala和Spark,从字典创建数据帧

时间:2017-08-28 18:37:25

标签: scala apache-spark spark-dataframe

请告诉我如何使用以下代码创建数据框?

val x =List(Map("col1"->"foo","col2"->"bar"))
val RDD =sc.parallelize(x)

输入如上所示,即RDD[Map[String, String]] 想要转换为数据帧,col1和col2作为列名,foo和bar作为一行。

1 个答案:

答案 0 :(得分:1)

您可以创建案例类,将rdd中的Maps转换为案例类,然后toDF应该有效:

case class r(col1: Option[String], col2: Option[String])

RDD.map(m => r(m.get("col1"), m.get("col2"))).toDF.show
+----+----+
|col1|col2|
+----+----+
| foo| bar|
+----+----+