根据条件火花替换值

时间:2020-08-20 06:02:11

标签: scala apache-spark apache-spark-sql

我有一个数据集,我想通过对ID,日期进行分组来基于数量的最小值替换结果列

id,date,quantity,result
1,2016-01-01,245,1
1,2016-01-01,345,3
1,2016-01-01,123,2
1,2016-01-02,120,5
2,2016-01-01,567,1
2,2016-01-01,568,1
2,2016-01-02,453,1

在此输出,替换该groupby(id,date)中具有最小值的数量。在这里,行的顺序无关紧要,可以是任何顺序。

id,date,quantity,result
1,2016-01-01,245,2
1,2016-01-01,345,2
1,2016-01-01,123,2
1,2016-01-02,120,5
2,2016-01-01,567,1
2,2016-01-01,568,1
2,2016-01-02,453,1

1 个答案:

答案 0 :(得分:0)

使用"~/Sample/Folder\\\ Space/"并通过Window获得最大值。

max