sparkpy坚持认为HDFS上的root临时目录：/ tmp / hive应该可写

Question

我正在尝试运行访问hive服务器的pyspark程序。程序因抛出错误而终止

pyspark.sql.utils.AnalysisException: 'java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxrwxr-x;

现在，The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: -wx------建议我将其更改为777。我做了。

drwxrwxrwx - hadoopuser supergroup 0 2019-07-03 06:39 /tmp/hive

但是，pyspark仍然会抛出相同的错误。

因此，我决定将临时目录文件夹更改为/ tmp / sparkpy。我在hive-site.xml中注册了此更改

我重新启动了hiveserver2，并且Beeline确认更改已注册。

+------------------------------------+
|                set                 |
+------------------------------------+
| hive.exec.scratchdir=/tmp/sparkpy  |
+------------------------------------+
1 row selected (0.028 seconds)

但是，pyspark仍然停留在/ tmp / hive并坚持认为它不可写。

Answer 1

我也遇到了同样的问题。最后，我得到了 /tmp/hive location is present in your local system 的答案。

sudo chmod -R 777 /tmp

以上命令为我解决了问题。