什么是Spark SQL中的\ tmp \ hive（特别是在使用winutils.exe进行设置时）？

Question

这是Windows上的Apache Spark。

使用\tmp\hive更改权限时winutils.exe需要什么？我可以将此路径更改为随机临时目录吗？

Answer 1

目录/tmp/hive是hive.exec.scratchdir Hive配置变量的默认值。

您可以在官方Hive文档（Hive Configuration Variables）中的hive.exec.scratchdir上找到更多信息：

  

hive.exec.scratchdir Hive使用此目录存储查询的不同map / reduce阶段的计划，以及存储这些阶段的中间输出。默认值：/ tmp / hive（Hive 0.14.0及更高版本）

Spark SQL默认使用spark-shell中的Hive，您可能会提前和经常使用。这是需要正确配置目录。

您可以更改位置（使用前面提到的official documentation中所述的hive-site.xml），但是......如果您使用/tmp每个人都有权访问？

P.S。你可以关闭Spark SQL中的Hive支持，但是我怀疑你是不是想走这条路来解决这个问题（因为这会引入新的和更严重的问题）。

Answer 2

我不知道你在哪里获得这个/ tmp / hive的东西。

您需要做的就是将HADOOP_HOME环境设置为winutils.exe。