如何在pyspark数据帧中显示特定的最大行

时间:2019-03-08 06:13:35

标签: python pyspark apache-spark-sql

我有以下代码

ageDF.sort('Period')
     .groupBy('Period')
     .agg(round(sum('Age_specific_birth_rate'), 2).alias('Total Births'))
     .show()

以上按时期将age_specific_birth_rate的总和分组

所以输出将类似于

Period|Total Births|
+------+------------+
|  2000|       395.5|
|  2001|       393.4|
|  2002|       377.3|
|  2003|       386.2|
|  2004|       395.9|
|  2005|       391.9|
|  2006|       400.4|
|  2007|       434.0|
|  2008|       437.8|
|  2009|       425.7|
|  2010|       434.0|
|  2011|       417.8|
|  2012|       418.2|
|  2013|       400.4|
|  2014|       384.3|
|  2015|       398.7|
|  2016|       374.8|
|  2017|       362.7|
|  2018|       342.2|

但是我想按期间显示其中的最大值

所以当我输入下面的代码

  ageDF.sort('Period')
       .groupBy('Period')
       .agg(round(sum('Age_specific_birth_rate'), 2).alias('Total'))
       .select('Period', 'Total')
       .agg(max('Total'))
       .show()

我得到了输出

> +----------+
  |max(Total)|
  +----------+
  |     437.8| 
  +----------+

但是我想得到类似的东西

  +------+------------+
  |Period|max(Total)  |
  +------+------------+
  |  2008|       395.5|

我该怎么做?

谢谢

1 个答案:

答案 0 :(得分:0)

您可以尝试

ageDF.sort('Period')
     .groupBy('Period')
     .agg(round(sum('Age_specific_birth_rate'), 2).alias('Total'))
     .orderBy(functions.col('Total').desc())
     .limit(1)
     .select('Period', 'Total')
     .show()