使用HiveContext的Spark - AnalysisException：无法解析窗口函数＆＃39; first_value＆＃39;

Question

first的这种用法出了什么问题？我想在我的数据框中为每个id取第一行，但是它会返回错误：

Exception in thread "main" org.apache.spark.sql.AnalysisException: Could not resolve window function 'first_value'. Note that, using window functions currently requires a HiveContext;

代码是：

WindowSpec window = Window.partitionBy(df.col("id"));
df= df.select(first(df.col("*")).over(window));

我使用的是HiveContext。

Answer 1

您是否使用SparkContext或HiveContext读取/创建了spark数据帧？ 窗口函数需要使用HiveContext

这里有更多细节： Window function is not working on Pyspark sqlcontext