将RDD [(长,长)]转换为RDD [行]

时间:2016-08-18 11:22:53

标签: scala apache-spark apache-spark-sql tuples

如何将RDD [(长,长)]转换为RDD [行]?

我要求RDD [Row]转换为DataFrame。我得到答案的最接近的是  How to convert RDD[Row] to RDD[Vector]但我想做相反的事。

1 个答案:

答案 0 :(得分:3)

只需将架构应用于您的RDD(参考:spark-sql-programming-guide

case class MyObjectType(col1:Long, col2:Long)

val myRDD:RDD[Long, Long] = .........
val myDF = myRDD.map(r=>MyObjectType(r._1, r._2)).toDF

现在如果要在此df上运行sql,可以将其注册为临时表

myDF.createOrReplaceTempView("my_table")