哪个elememt做DataFrame。 DropDuplicate drop

时间:2017-02-22 04:18:55

标签: scala apache-spark-sql spark-dataframe scala-collections

如果我根据列以降序ortder对数据帧进行排序。然后使用df.dropDuplicate删除重复项,然后删除哪个元素?基于排序的较小的元素?

1 个答案:

答案 0 :(得分:0)

DropDuplicate方法保留第一个元素并删除其他元素。

所以是的,在降序排序中,只保留最大的(基于排序)并删除其他的。