转换包含列表的行以分隔pyspark

时间:2018-08-10 14:51:49

标签: python apache-spark pyspark

我在pyspark上有以下数据框,其中有几行(我仅出于说明目的显示第一行)。每列的每一行都包含一个具有相同元素数的列表(在此示例中为3)。

+--------------------+-------------------------+--------------------+
|            ALTITUDE|LONGITUDINAL_ACCELERATION|           GPS_COORD|
+--------------------+-------------------------+--------------------+
|[530, 530, 530]     |     [1.14, 1.04, 0.61]  |[27/16,27/16,27/17] |
+--------------------+-------------------------+--------------------+

我想将每一行转换为3个单独的行,每个行都有对应列表的元素,如下所示:

+--------------------+-------------------------+--------------------+
|            ALTITUDE|LONGITUDINAL_ACCELERATION|           GPS_COORD|
+--------------------+-------------------------+--------------------+
|530                 |     1.14                |27/16               |
+--------------------+-------------------------+--------------------+
|530                 |     1.04                |27/16               |
+--------------------+-------------------------+--------------------+
|530                 |     0.61                |27/17               |
+--------------------+-------------------------+--------------------+

关于如何做到这一点的任何想法? 非常感谢

0 个答案:

没有答案