我有Spark行列表列表如下。
from pyspark.sql import Row
my_list =[[Row(id=1, col_a=1, col_b=2, col_c=3),
Row(id=2, col_a=3, col_b=4, col_c=4)],
[Row(id=3, col_a=4, col_b=3, col_c=5)],
[Row(id=4, col_a=8, col_b=6, col_c=3),
Row(id=5, col_a=1, col_b=4, col_c=4)]]
我想创建Spark Dataframe,其中id, col_a, col_b, col_c
是我的列。我试着像here那样使用flatMap
,但没有为我正常工作。如果有人知道怎么做,那就太好了。