如何找到最高和最低的产品价格

时间:2017-11-25 06:13:53

标签: scala spark-dataframe

我是Scala的新手并拥有一个DataFrame,我需要找到每个category_id的最高和最低产品价格。

数据框的前20行是:

enter image description here

请让我知道如何做到这一点。

1 个答案:

答案 0 :(得分:0)

你可以使用窗口操作,然后它应该如下:

df.withColumn("rank", rank().over(Window.partitionBy("Category_id").orderBy($"price".desc)))
    .filter($"rank" <= 20)
    .drop("rank")

我希望,它会对你有帮助。