Question

我正在尝试通过pyspark构建sql实现此目的。目标是将多行合并为单行例：我要转换这个

+-----+----+----+-----+
| col1|col2|col3| col4|
+-----+----+----+-----+
|x    |  y |  z |13::1|
|x    |  y |  z |10::2|
+-----+----+----+-----+

收件人

+-----+----+----+-----------+
| col1|col2|col3|       col4|
+-----+----+----+-----------+
|x    |  y |  z |13::1;10::2|
+-----+----+----+-----------+

Answer 1

扩展@Barmar在评论中的建议，您可以运行如下所示的SQL查询：

SELECT col1, col2, col3, GROUP_CONCAT(col4)
FROM your_table
GROUP BY col1, col2, col3

Answer 2

您要查找的是this answer的spark-sql版本，如下所示：

query = """
  select col1, 
         col2, 
         col3, 
         concat_ws(';', collect_list(col4)) as col4 
    from some_table 
group by col1, 
         col2, 
         col3
"""
spark.sql(query).show()
#+----+----+----+-----------+
#|col1|col2|col3|       col4|
#+----+----+----+-----------+
#|   x|   y|   z|13::1;10::2|
#+----+----+----+-----------+

但是请注意，由于分配了spark，因此除非您明确指定顺序，否则不能保证保持任何特定顺序。

查看更多：

将多行合并为单行

2 个答案: