PySpark不是从Windows命令提示符启动

时间:2019-08-17 19:32:42

标签: apache-spark pyspark

我正在尝试从Windows cmd启动pyspark。但是到目前为止没有运气。我收到如下所示的错误消息。 enter image description here

我几乎遍历了stackoverflow和net搜索的每个角落,但无法解决此问题。

到目前为止,我已经按照下面提到的步骤进行操作:

  1. 在系统变量中设置JAVA_HOME,SPARK_HOME和HADOOP_HOME。

enter image description here

  1. 如下所示更新PATH变量。

enter image description here

我已经处理了所有与“太空”相关的问题。尽管如此,我仍然无法从命令提示符下启动spark-shell或pyspark。

我正在使用Windows 10家庭版。

我错过了什么吗?

注意:我已经安装了Java,Scala和Python,并且在命令提示符下它们运行正常。

1 个答案:

答案 0 :(得分:0)

您是否启用了对Hive的默认临时目录的访问。确保目录C:\ tmp \ hive存在;如果不存在,请创建它。 接下来,您需要授予它访问winutils.exe的权限。浏览回到放置此.exe文件的位置,然后运行权限命令

cd c:\hadoop\bin
winutils.exe chmod -R 777 C:\tmp\hive

完成此操作后,请再次尝试启动PySpark!