我在Pyspark中有以下数据框
+----+-------+-----+
|name|subject|score|
+----+-------+-----+
| Tom| math| 90|
| Tom|physics| 70|
| Amy| math| 95|
+----+-------+-----+
我使用了collect_list
中的struct
和pyspark.sql.functions
函数
df.groupBy('name').agg(collect_list(struct('subject', 'score')).alias('score_list'))
获取以下数据框
+----+--------------------+
|name| score_list|
+----+--------------------+
| Tom|[[math, 90], [phy...|
| Amy| [[math, 95]]|
+----+--------------------+
我的问题是如何将最后一列score_list
转换为字符串并将其转储为csv文件,如下所示:
Tom (math, 90) | (physics, 70)
Amy (math, 95)
非常感谢您的帮助。
更新:Here是一个类似的问题,但并不完全相同,因为它直接从string
到另一个string
。就我而言,我想先将string
转移到 collect_list<struct>
,最后将这个 collect_list<struct>
字符串化。
答案 0 :(得分:3)
我链接的重复项无法完全回答您的问题,因为您要合并多个列。不过,您可以轻松地修改解决方案以适合所需的输出。
只需将struct
替换为concat_ws
。还可以使用concat
添加一个开始和结束括号,以获得所需的输出。
from pyspark.sql.functions import concat, concat_ws, lit
df = df.groupBy('name')\
.agg(
concat_ws(
" | ",
collect_list(
concat(lit("("), concat_ws(", ", 'subject', 'score'), lit(")"))
)
).alias('score_list')
)
df.show(truncate=False)
#+----+--------------------------+
#|name|score_list |
#+----+--------------------------+
#|Tom |(math, 90) | (physics, 70)|
#|Amy |(math, 95) |
#+----+--------------------------+
请注意,由于逗号出现在score_list
列中,因此,如果使用默认参数,则在写入csv
时将引用该值。
例如:
df.coalesce(1).write.csv("test.csv")
将产生以下输出文件:
Tom,"(math, 90) | (physics, 70)"
Amy,"(math, 95)"
答案 1 :(得分:2)
对于您的更新和注释,对于 Spark 2.4.0 + ,以下是一种使用Spark SQL内置函数对结构数组进行字符串化的方法:transform和array_join :
>>> df.printSchema()
root
|-- name: string (nullable = true)
|-- score_list: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- subject: string (nullable = true)
| | |-- score: integer (nullable = true)
>>> df.show(2,0)
+----+---------------------------+
|name|score_list |
+----+---------------------------+
|Tom |[[math, 90], [physics, 70]]|
|Amy |[[math, 95]] |
+----+---------------------------+
>>> df1.selectExpr(
"name"
, """
array_join(
transform(score_list, x -> concat('(', x.subject, ', ', x.score, ')'))
, ' | '
) AS score_list
"""
).show(2,0)
+----+--------------------------+
|name|score_list |
+----+--------------------------+
|Tom |(math, 90) | (physics, 70)|
|Amy |(math, 95) |
+----+--------------------------+
位置:
x
),我们使用concat('(', x.subject, ', ', x.score, ')')
将其转换为字符串。|
连接起来,这将返回最终的字符串