在Windows上安装Spark不起作用

时间:2017-12-26 01:49:25

标签: java windows scala apache-spark pyspark

我正在尝试在Windows 10计算机上安装Apache Spark。我安装Spark的第一步是下载Java from here然后通过此路径下载:C:\Program Files (x86)\Java在此安装过程中下载的一个文件夹是:\jre1.8.0_151

接下来我安装了JDK from here并下载了windows x86版本。我在Java文件夹中使用了与上面相同的路径来下载它。完成后,我在Java文件夹中有两个文件夹:jdk1.8.0_151 and jre1.8.0_151

然后,我将JAVA_HOME变量设置为指向C:\PROGRA~1(x86)\Java\jdk1.8.0_151,然后在Path中添加%JAVA_HOME%然后我安装了Scala from here并下载了Windows的Scala二进制文件。环境路径已在path中添加为:C:\PROGRA~1(x86)\scala\bin

接下来我安装了Spark from here并安装了spark-2.2.1-bin-hadoop2.7.tgz之后,我将此文件夹放在D:\spark-2.2.1-bin-hadoop2.7我然后将环境变量添加为SPARK_HOME,路径为:D:\spark-2.2.1-bin-hadoop2.7\bin然后我已将path更新为%SPARK_HOME%\bin

最后我试着看看是否安装了所有东西。我输入java -version并安装了正确的java。然后我输入scala,scala对我来说是打开表达式等等。然后我输入spark-shell但我收到了这个错误:

  

'火花壳'不被视为内部或外部命令,   可操作程序或批处理文件。

我做错了什么不能打开火花?请注意:我正在使用cmd。

1 个答案:

答案 0 :(得分:2)

看起来您将%SPARK_HOME%设置为错误的位置,因此当“然后我将path更新为%SPARK_HOME%\bin ”时,它导致添加{{ 1}}使用双D:\spark-2.2.1-bin-hadoop2.7\bin\bin这显然是错误的。 \bin应该没有%SPARK_HOME%

通常,您可以通过在命令行中调用\binecho %PATH%来显示所有这些变量来测试您的环境变量