Pyspark排序并获得第一个和最后一个

时间:2019-08-22 14:09:57

标签: pyspark

我使用代码belopw来基于一列进行排序。我想知道如何在排序的数据框中获得第一个元素和最后一个元素?

 group_by_dataframe
        .count()
        .filter("`count` >= 10")
        .sort(desc("count"))

1 个答案:

答案 0 :(得分:0)

maxmin函数需要有一个要使用的组才能解决此问题,您可以如下创建dummy列,然后调用{{1} }和max表示最大值和最小值。

如果这就是您所需要的,那么您这里实际上不需要min

sort