Question

我有一个具有不同列的Dataframe，其中一列是结构数组：

+----------+---------+--------------------------------------+
|id        |title    |                                values|
+----------+---------+--------------------------------------+
|        1 | aaa     |      [{name1, id1}, {name2, id2},...]|
|        2 | bbb     |  [{name11, id11}, {name22, id22},...]|

此列的df架构如下所示：

|-- values: array (nullable = true)
|    |-- element: struct (containsNull = true)
|    |    |-- name: string (nullable = true)
|    |    |-- id: long (nullable = true)

我想从这个数组列中提取每个值，如下所示：

+----------+---------+--------------+
|id        |title    |name   |   _id|
+----------+---------+--------------+
|        1 | aaa     | name1 |  id1 |
|        1 | aaa     | name2 |  id2 |
|        2 | bbb     | name11| id11 |
|        2 | bbb     | name22| id22 |

我想出了如何提取数组中的单个项目：

df = df.withColumn("name", df["values"].getItem(0).name)\
.withColumn("_id", df["id"].getItem(0).id)\

但我不知道如何将它应用于整个数组。我可能应该这样做：

for index in range(len(df.values)):
    df = df.withColumn("name", df["values"].getItem(index).name)\
    .withColumn("_id", df["id"].getItem(index).id)\

你可以帮我解决一下吗？谢谢！

Answer 1

只需explode并选择

from pyspark.sql.functions import col, explode

df.withColumn("values", explode("values")).select(
  "*", col("values")["name"].alias("name"), col("values")["id"].alias("id")
)

Answer 2

进一步扩展解决方案。您可以使用col（“ col_name。*”）使用这种方法在struct字段中选择所有元素，而不是分别提取每个struct元素。

from pyspark.sql.functions import col, explode

df.withColumn("values", explode("values")).select(
"*",col("values.*")
)

如何从结构数组中提取所有元素？

2 个答案: