Spark安装问题:实例化org.apache.spark.sql.hive.HiveSessionStateBuilder时出错

时间:2017-08-05 20:31:45

标签: python apache-spark hive installation pyspark

我遵循了Spark的所有环境变量和安装说明。现在当我运行pyspark时,我收到以下错误:

  

pyspark.sql.utils.IllegalArgumentException:u"实例化时出错' org.apache.spark.sql.hive.HiveSessionStateBuilder':"

enter image description here

我已经添加了PATH,HADOOP_HOME,SPARK_HOME以及winutil.exe文件。还尝试了在网上发布的一个解决方案,上面的错误说要更改这样的权限

C:\winutils\bin>winutils.exe chmod 777 \tmp\hive

没有任何效果。

正如您在上面所看到的,火花确实开始了,但没有其他工作。当我输入以下命令时见下文:

enter image description here

我在这里缺少什么?

1 个答案:

答案 0 :(得分:0)

(假设Windows环境)检查并设置权限,如下所示。

C:\spark\spark-2.2.0-bin-hadoop2.7\bin>%HADOOP_HOME%\bin\winutils.exe ls \tmp\hive
drwx------ 1 BUILTIN\Administrators CORP\Domain Users 0 Oct 13 2017 \tmp\hive

C:\spark\spark-2.2.0-bin-hadoop2.7\bin>%HADOOP_HOME%\bin\winutils.exe chmod 777 \tmp\hive

C:\spark\spark-2.2.0-bin-hadoop2.7\bin>%HADOOP_HOME%\bin\winutils.exe ls \tmp\hive
drwxrwxrwx 1 BUILTIN\Administrators CORP\Domain Users 0 Oct 13 2017 \tmp\hive