将具有列表列表的数组[行]转换为Scala Spark中的Dataframe

时间:2017-10-25 11:49:15

标签: scala apache-spark apache-spark-sql spark-dataframe

我是Spark的Scala新手。

我有一列输入数据框。

数据框中的每个元素都是我需要转换为Dataframe的列表列表。

def functionName(x: DataFrame){
   //CODE TO DO ON DATAFRAME
}

> inputdf.show()

+------------------------+
|                 col    |
+------------------------+
| [[a, b, c], [d, e, f]] |
| [[g, h, i], [j, k, l]] |
| [[m, n, o], [p, q, r]] |
| [[s, t, u], [v, w, x]] |
+------------------------+

要将每行转换为我使用的数据框:

> inputdf.rdd.map(row => functionName(row.toDF()))

> inputdf.rdd.map(row => functionName(sqlContext.createDataFrame(sc.parallelize(row))))

> inputdf.rdd.map(row => functionName(sqlContext.createDataFrame(sc.parallelize(Seq(row)))))

尝试了stackoverflow上建议的大多数方法,但没有尝试过。有人可以建议我如何使用inputdf函数转换map中的每一行吗?提前致谢。

0 个答案:

没有答案