Spark Row到Spark DataFrame的列表列表

时间:2016-09-20 03:46:36

标签: python pyspark spark-dataframe

我有Spark行列表列表如下。

from pyspark.sql import Row
my_list =[[Row(id=1, col_a=1, col_b=2, col_c=3), 
           Row(id=2, col_a=3, col_b=4, col_c=4)], 
          [Row(id=3, col_a=4, col_b=3, col_c=5)], 
          [Row(id=4, col_a=8, col_b=6, col_c=3), 
           Row(id=5, col_a=1, col_b=4, col_c=4)]]

我想创建Spark Dataframe,其中id, col_a, col_b, col_c是我的列。我试着像here那样使用flatMap,但没有为我正常工作。如果有人知道怎么做,那就太好了。

0 个答案:

没有答案