Hive on local Spark - 如何设置?

时间:2016-07-18 14:12:44

标签: maven apache-spark hive

我在Windowsx64上本地安装了Spark,用于在推出之前测试我的Spark代码。我想使用窗口函数,但这需要我使用HiveContext。我在Maven中设置了依赖项,但是当我在Spark上运行它时,我得到The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: --------- 我没有设置Hive。如何在本地使用Spark和HiveContext?我无法找到关于如何做到这一点的可理解的指南,请帮忙!

[编辑] 代码:

WindowSpec window = Window.partitionBy(df.col("id")).orderBy(df.col("date").desc()).rowsBetween(0, 10);
Column col = avg(df.col("price")).over(window).as("price");
df = df.withColumn("price", price);

谢谢!

1 个答案:

答案 0 :(得分:0)

我最终使用的是Hortonworks VM,因为显然Hive在Windows下不受支持。