Apache Spark Window功能,按大小过滤

时间:2016-10-07 12:38:54

标签: scala apache-spark apache-spark-sql apache-spark-dataset

尝试使用Window函数计算窗口内的平均值,但在计算之前排除0。

val byClass = Window.partitionBy('class)    
val avgAge = avg('age).over(byClass)

我尝试过滤这样的大小,但没有运气。

val avgAge = avg('age).ge(lit(0)).over(byClusterHash)

最后,

val results = reports.select('*, avgAge as 'avg).show(2000)

知道如何解决这个问题吗?

0 个答案:

没有答案