rdd到dataframe行的矩阵

时间:2017-10-02 19:06:44

标签: apache-spark pyspark spark-dataframe rdd

首先,对于啰嗦的解释感到抱歉。

嗨那里,我试图将一些数据(以RDD的形式)转换为数据帧,但它更复杂一点。

我有一个RDD:其中每个项目都是ROW(),其中包含一个名为features的矩阵(列表列表)和一个名为labels的列表。

我想将此RDD转换为Dataframe,其中每行是单个功能列表,标量是标签。正如您所看到的那样,问题在于RDD中的特征由矩阵而不是向量组成。

谢谢,

1 个答案:

答案 0 :(得分:0)

3

解决方案是flatMap每行的功能和标签。 (在RDD上)