我是Spark的Scala新手。
我有一列输入数据框。
数据框中的每个元素都是我需要转换为Dataframe的列表列表。
def functionName(x: DataFrame){
//CODE TO DO ON DATAFRAME
}
> inputdf.show()
+------------------------+
| col |
+------------------------+
| [[a, b, c], [d, e, f]] |
| [[g, h, i], [j, k, l]] |
| [[m, n, o], [p, q, r]] |
| [[s, t, u], [v, w, x]] |
+------------------------+
要将每行转换为我使用的数据框:
> inputdf.rdd.map(row => functionName(row.toDF()))
> inputdf.rdd.map(row => functionName(sqlContext.createDataFrame(sc.parallelize(row))))
> inputdf.rdd.map(row => functionName(sqlContext.createDataFrame(sc.parallelize(Seq(row)))))
尝试了stackoverflow上建议的大多数方法,但没有尝试过。有人可以建议我如何使用inputdf
函数转换map
中的每一行吗?提前致谢。