如何将RDD [(长,长)]转换为RDD [行]?
我要求RDD [Row]转换为DataFrame。我得到答案的最接近的是 How to convert RDD[Row] to RDD[Vector]但我想做相反的事。
答案 0 :(得分:3)
只需将架构应用于您的RDD(参考:spark-sql-programming-guide)
case class MyObjectType(col1:Long, col2:Long)
val myRDD:RDD[Long, Long] = .........
val myDF = myRDD.map(r=>MyObjectType(r._1, r._2)).toDF
现在如果要在此df上运行sql,可以将其注册为临时表
myDF.createOrReplaceTempView("my_table")