Question

我熟悉Pandas数据框，我使用的功能＆＃34;模式＆＃34;和＆＃34; groupby＆＃34;获得最常见的值，如下面

df3=df5.groupby(['band']).apply(lambda x: x.mode())

然而，我在PySpark中遇到了一些困难。

我有一个火花数据框如下：

band      A3    A5  status
4G_band1800 12  18  TRUE
4G_band1800 12  18  FALSE
4G_band1800 10  18  TRUE
4G_band1800 12  12  TRUE
4g_band2300 6   24  FALSE
4g_band2300 6   22  FALSE
4g_band2300 6   24  FALSE
4g_band2300 3   24  TRUE

Screenshot of above

我想要的如下：

band      A3    A5  status
4G_band1800 12  18  TRUE
4g_band2300 6   24  FALSE

Screenshot of above

我尝试了所有可能的组合，但没有得到任何合理的输出。请提出建议。

Answer 1

如果没有定义自己的UDAF，您可以定义模式函数（udf）并将其与collect_list一起使用，如下所示：

import pyspark.sql.functions as F
@F.udf
def mode(x):
    from collections import Counter
    return Counter(x).most_common(1)[0][0]

cols = ['A3', 'A5', 'status']
agg_expr = [mode(F.collect_list(col)).alias(col) for col in cols]
df.groupBy('band').agg(*agg_expr).show()

+-----------+---+---+------+
|       band| A3| A5|status|
+-----------+---+---+------+
|4G_band1800| 12| 18|  true|
|4g_band2300|  6| 24| false|
+-----------+---+---+------+

如何在PySpark中获取数据帧的最常见值

1 个答案: