我遵循了Spark的所有环境变量和安装说明。现在当我运行pyspark
时,我收到以下错误:
pyspark.sql.utils.IllegalArgumentException:u"实例化时出错' org.apache.spark.sql.hive.HiveSessionStateBuilder':"
我已经添加了PATH,HADOOP_HOME,SPARK_HOME以及winutil.exe文件。还尝试了在网上发布的一个解决方案,上面的错误说要更改这样的权限
C:\winutils\bin>winutils.exe chmod 777 \tmp\hive
没有任何效果。
正如您在上面所看到的,火花确实开始了,但没有其他工作。当我输入以下命令时见下文:
我在这里缺少什么?
答案 0 :(得分:0)
(假设Windows环境)检查并设置权限,如下所示。
C:\spark\spark-2.2.0-bin-hadoop2.7\bin>%HADOOP_HOME%\bin\winutils.exe ls \tmp\hive
drwx------ 1 BUILTIN\Administrators CORP\Domain Users 0 Oct 13 2017 \tmp\hive
C:\spark\spark-2.2.0-bin-hadoop2.7\bin>%HADOOP_HOME%\bin\winutils.exe chmod 777 \tmp\hive
C:\spark\spark-2.2.0-bin-hadoop2.7\bin>%HADOOP_HOME%\bin\winutils.exe ls \tmp\hive
drwxrwxrwx 1 BUILTIN\Administrators CORP\Domain Users 0 Oct 13 2017 \tmp\hive