使用pyspark.sql函数计算平均值的正确方法是什么？

Question

在pyspark数据帧中，我有一个不同事件的时间序列，我想按月计算平均事件数。使用pyspark.sql函数的正确方法是什么？

我感觉这需要 agg ， avg ，窗口分区，但是我无法使其工作。

我已按事件和月份对数据进行了分组，并获得了如下内容：

+------+-----+-----+
| event|month|count|
+------+-----+-----+
|event1|    1| 1023|
|event2|    1| 1009|
|event3|    1| 1002|
|event1|    2| 1012|
|event2|    2| 1023|
|event3|    2| 1017|
|event1|    3| 1033|
|event2|    3| 1011|
|event3|    3| 1004|
+------+-----+-----+

我想拥有的是这个

+------+-------------+
| event|avg_per_month|
+------+-------------+
|event1|    1022.6666|
|event2|    1014.3333|
|event3|    1007.6666|
+------+-------------+

完成此操作的正确方法是什么？

Answer 1

这应该可以帮助您获得理想的结果-

df = spark.createDataFrame(
    [('event1',1,1023),
     ('event2',1,1009),
     ('event3',1,1002),
     ('event1',2,1012),
     ('event2',2,1023),
     ('event3',2,1017),
     ('event1',3,1033),
     ('event2',3,1011),
     ('event3',3,1004)
     ],["event", "month", "count"])

示例1：

df.groupBy("event").\
    avg("count").alias("avg_per_month").\
    show()

示例2：

df.groupBy("event").\
    agg({'count' : 'avg'}).alias("avg_per_month").\
    show()