Question

在pyspark中可以在groupBy.agg()中创建字典吗？这是一个玩具示例：

import pyspark
from pyspark.sql import Row
import pyspark.sql.functions as F

sc = pyspark.SparkContext()
spark = pyspark.sql.SparkSession(sc)

toy_data = spark.createDataFrame([
    Row(id=1, key='a', value="123"),
    Row(id=1, key='b', value="234"),
    Row(id=1, key='c', value="345"),
    Row(id=2, key='a', value="12"),
    Row(id=2, key='x', value="23"),
    Row(id=2, key='y', value="123")])

toy_data.show()

+---+---+-----+
| id|key|value|
+---+---+-----+
|  1|  a|  123|
|  1|  b|  234|
|  1|  c|  345|
|  2|  a|   12|
|  2|  x|   23|
|  2|  y|  123|
+---+---+-----+

这是预期的输出：

---+------------------------------------
id |  key_value
---+------------------------------------
1  | {"a": "123", "b": "234", "c": "345"}
2  | {"a": "12", "x": "23", "y": "123"}
---+------------------------------------

====================================

我试过了，但是没用。

toy_data.groupBy("id").agg(
    F.create_map(col("key"),col("value")).alias("key_value")
)

这会产生以下错误：

AnalysisException: u"expression '`key`' is neither present in the group by, nor is it an aggregate function....

Answer 1

agg组件必须包含实际的聚合功能。解决此问题的一种方法是合并collect_list

集合函数：返回具有重复项的对象列表。

struct：

创建一个新的结构列。

和map_from_entries

集合函数：返回根据给定的条目数组创建的地图。

这是您要这样做的方式：

toy_data.groupBy("id").agg(
    F.map_from_entries(
        F.collect_list(
            F.struct("key", "value"))).alias("key_value")
).show(truncate=False)

+---+------------------------------+
|id |key_value                     |
+---+------------------------------+
|1  |[a -> 123, b -> 234, c -> 345]|
|2  |[a -> 12, x -> 23, y -> 123]  |
+---+------------------------------+

Answer 2

对于pyspark <2.4.0，其中pyspark.sql.functions.map_from_entries不可用，您可以使用自己创建的udf函数

import pyspark.sql.functions as F
from pyspark.sql.types import MapType, StringType

@F.udf(returnType=MapType(StringType(), StringType()))
def map_array(column):
    return dict(column)

(toy_data.groupBy("id")
     .agg(F.collect_list(F.struct("key", "value")).alias("key_value"))
     .withColumn('key_value', map_array('key_value'))
     .show(truncate=False))

+---+------------------------------+
|id |key_value                     |
+---+------------------------------+
|1  |[a -> 123, b -> 234, c -> 345]|
|2  |[x -> 23, a -> 12, y -> 123]  |
+---+------------------------------+

Pyspark在groupby中创建字典

2 个答案: