Spark SQL中的聚合函数列表

Question

我正在寻找Spark SQL中预定义的聚合函数的列表。我想到的是类似于Presto Aggregate Functions的东西。

我 Ctrl + F 在SQL API docs中大约没用了...这也很难一目了然。聚合与否。例如，如果我不知道avg是一个聚合函数，那么我很难说出它是一个聚合函数（以一种实际上可以扩展到全部函数集的方式）：

  

avg-avg(expr)-返回根据组值计算出的平均值。

如果没有这样的列表，那么有人至少可以向我确认没有像any / bool_or或all / bool_and这样的预定义函数确定组中的boolean列是true（还是false）是全部还是全部？

目前，我的解决方法是

select grp_col, count(if(bool_col, true, NULL)) > 0 any_agg

Answer 1

只需看看Aggregate functions部分的Spark Docs

Answer 2

函数列表在Relational Grouped Dataset下-特别是返回DataFrame的API（不是 RelationalGroupedDataSet）：

https://spark.apache.org/docs/latest/api/scala/index.html?org/apache/spark/sql/RelationalGroupedDataset.html#org.apache.spark.sql.RelationalGroupedDataset