从Spark在Hive中创建外部表

Question

尝试从Spark在Hive中创建外部表并保存内容时，我遇到错误。

 The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-

我甚至尝试将/ tmp / hive文件夹的权限设置为chmod 777，但没有成功。

Answer 1

您提供权限可能有误，因为我认为您授予了本地/tmp/hive目录的权限，但是您应该允许HDFS中的/tmp/hive

hadoop fs -chmod 777 /tmp/hive

Answer 2

如果您首先使用hdfs，cfs或本地文件系统，请检入hive-site.xml。

对于cfs，您必须使用sudo dse hadoop fs -chmod 777 /tmp/hive

对于hdfs，您必须使用 sudo hdfs dfs -chmod 777 /tmp/hive或sudo hadoop fs -chmod 777 /tmp/hive

当地人我猜，你已经照顾好了。

Answer 3

设置临时目录的更好方法是在hive-site.xml中使用/ user / $ {username} / tmp / hive。这样，所有查询详细信息都将写入提交的用户临时目录。在你的情况下，你不需要更改权限他刮刮目录。否则，所有用户都应该可以写入全局临时目录。