Spark SQL：MovingAverage不包括前10％和后10％

Question

我需要找到由“ ReportId”字段划分的时间序列值的移动平均值。我正在使用以下方法查找移动平均线，但是我遇到了异常值（异常值）影响平均值的问题。因此，我想从计算平均值中排除前10％和后10％的值。

var movingAvgDS = ds.withColumn("MovingAverage", avg(col("ConsumedWatt")).over( Window.partitionBy("ReportId").rowsBetween(-50,50)) )