我在Windowsx64上本地安装了Spark,用于在推出之前测试我的Spark代码。我想使用窗口函数,但这需要我使用HiveContext。我在Maven中设置了依赖项,但是当我在Spark上运行它时,我得到The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: ---------
我没有设置Hive。如何在本地使用Spark和HiveContext?我无法找到关于如何做到这一点的可理解的指南,请帮忙!
[编辑] 代码:
WindowSpec window = Window.partitionBy(df.col("id")).orderBy(df.col("date").desc()).rowsBetween(0, 10);
Column col = avg(df.col("price")).over(window).as("price");
df = df.withColumn("price", price);
谢谢!