Spark SQL窗口/分析函数的综合参考在哪里?

时间:2015-11-30 05:42:26

标签: apache-spark apache-spark-sql

Spark版本1.5+具有窗口功能。我相信SQL 某处有一个全面的文档,但找不到它。

这是spark数据帧和sql的文档:它没有寻找的内容:

http://spark.apache.org/docs/latest/streaming-programming-guide.html#dataframe-and-sql-operations

我搜索了许多不同的方法,无法找到可用的sql函数的综合指南。我能找到的最接近的是#34; spark 1.5 new Dataframe operations"这里:

https://databricks.com/blog/2015/09/16/spark-1-5-dataframe-api-highlights-datetimestring-handling-time-intervals-and-udafs.html

更新我正在寻找一个SQL引用 - 而不是API(/ scaladoc)引用。即一个引用,显示提供的sql函数,它们的参数是什么,语义,以及可能的示例用法。

3 个答案:

答案 0 :(得分:2)

Wiki中有一个关于Windowing and analytics的页面,它涵盖了窗口规范,聚合函数,并且包含一些示例。

答案 1 :(得分:1)

答案 2 :(得分:0)

Databricks在https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html对窗口函数进行了很好的介绍,但最终文档应该始终是API文档,向右滚动到底部 Dataframe functions API documentation