Question

是否可以检索RDD的模式并将其存储在变量中？因为我想使用相同的模式从另一个RDD创建一个新的数据框。例如，下面是我希望的内容：

val schema = oldDF.getSchema()
val newDF = sqlContext.createDataFrame(rowRDD, schema)

假设我已经rowRDD格式为RDD[org.apache.spark.sql.Row]，这有可能吗？

Answer 1

只需使用schema属性

即可

val oldDF = sqlContext.createDataFrame(sc.parallelize(Seq(("a", 1))))
val rowRDD = sc.parallelize(Seq(Row("b", 2))

sqlContext.createDataFrame(rowRDD, oldDF.schema)

Spark Scala：检索架构并存储它

1 个答案: