Question

我打算修改Spark Dataframe的一列，以实现以下Hive QL的类似目的：

SELECT Id, MIN(Id) over (PARTITION BY Age) Rep FROM Employees

我的问题是如何在UDF中实现“over（partition by ..）”？

我的电话是这样的：

def _udfuntion = { ... }
val ownfunc = udf(_udfunction)
df.withColumn("Rep", ownfunc($"Id", $"Age"))

Answer 1

您需要使用用户定义的聚合函数（UDAF）而不是UDF。