Spark版本1.5+具有窗口功能。我相信SQL 某处有一个全面的文档,但找不到它。
这是spark数据帧和sql的文档:它没有寻找的内容:
http://spark.apache.org/docs/latest/streaming-programming-guide.html#dataframe-and-sql-operations
我搜索了许多不同的方法,无法找到可用的sql函数的综合指南。我能找到的最接近的是#34; spark 1.5 new Dataframe operations"这里:
更新我正在寻找一个SQL引用 - 而不是API(/ scaladoc)引用。即一个引用,显示提供的sql函数,它们的参数是什么,语义,以及可能的示例用法。
答案 0 :(得分:2)
Wiki中有一个关于Windowing and analytics的页面,它涵盖了窗口规范,聚合函数,并且包含一些示例。
答案 1 :(得分:1)
这个怎么样?这是spark2.4.0 https://spark.apache.org/docs/2.4.0/api/sql/index.html#last_value
答案 2 :(得分:0)
Databricks在https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html对窗口函数进行了很好的介绍,但最终文档应该始终是API文档,向右滚动到底部 Dataframe functions API documentation