我正在使用pyspark sql api,并尝试将具有重复值的行分组为其余内容的列表。类似于转置,但不会旋转所有值,而是将值放入数组。
当前输出:
group_id | member_id | name
55 | 123 | jake
55 | 234 | tim
65 | 345 | chris
所需的输出:
group_id | members
55 | [[123, 'jake'], [234, 'tim']]
65 | [345, 'chris']
答案 0 :(得分:1)
您需要groupby
group_id
并将pyspark.sql.functions.collect_list()
用作聚合函数。
关于合并member_id
和name
列,您有两个选择:
pyspark.sql.functions.array
:from pyspark.sql.functions import array, collect_list
df1 = df.groupBy("group_id")\
.agg(collect_list(array("member_id", "name")).alias("members"))
df1.show(truncate=False)
#+--------+-------------------------------------------------+
#|group_id|members |
#+--------+-------------------------------------------------+
#|55 |[WrappedArray(123, jake), WrappedArray(234, tim)]|
#|65 |[WrappedArray(345, chris)] |
#+--------+-------------------------------------------------+
这将返回WrappedArray
个字符串数组。整数将转换为字符串,因为您不能使用混合类型数组。
df1.printSchema()
#root
# |-- group_id: integer (nullable = true)
# |-- members: array (nullable = true)
# | |-- element: array (containsNull = true)
# | | |-- element: string (containsNull = true)
pyspark.sql.functions.struct
from pyspark.sql.functions import collect_list, struct
df2 = df.groupBy("group_id")\
.agg(collect_list(struct("member_id", "name")).alias("members"))
df2.show(truncate=False)
#+--------+-----------------------+
#|group_id|members |
#+--------+-----------------------+
#|65 |[[345,chris]] |
#|55 |[[123,jake], [234,tim]]|
#+--------+-----------------------+
这将返回一个结构数组,其中包含member_id
和name
的命名字段
df2.printSchema()
#root
# |-- group_id: integer (nullable = true)
# |-- members: array (nullable = true)
# | |-- element: struct (containsNull = true)
# | | |-- member_id: integer (nullable = true)
# | | |-- name: string (nullable = true)
关于struct方法的有用之处在于,您可以使用点访问器按名称访问嵌套数组的元素:
df2.select("group_id", "members.member_id").show()
#+--------+----------+
#|group_id| member_id|
#+--------+----------+
#| 65| [345]|
#| 55|[123, 234]|
#+--------+----------+