Question

我正在尝试在Windows 10上安装Apache Spark。我下载了Spark和winutils.exe，设置了SPARK_HOME，HADOOP_HOME，并更新了PATH变量以包含Spark bin路径。不过，当我运行spark-shell时，我会收到以下错误。有什么问题？

C:\tools\spark-2.1.1-bin-hadoop2.7\bin>spark-shell
'""C:\Program' is not recognized as an internal or external command,
operable program or batch file.

Answer 1

经过长时间的尝试并经历不同的文章后我发现，这个问题与正确设置环境变量有关。事实上很简单，只需要设置正确看看你的火花壳工作，下面是提到正确和工作的步骤。

在“C”目录下或在完整路径之间没有空格的目录下安装Java（1.7+）。就像我在“C：/ Java”路径下安装了java 1.8版本一样。但是如果您已经在“Program Files”/“Program Files（86）”下安装了java，则需要将JAVA_HOME和PATH变量都用双引号，例如JAVA_HOME =“C：\ Program Files \ Java”和PATH =“ ％JAVA_HOME \ BIN％”。

C：\ Users \ ankitthakur＆gt; java -version java版“1.8.0_131” Java（TM）SE运行时环境（版本1.8.0_131-b11） Java HotSpot（TM）64位服务器VM（版本25.131-b11，混合模式）。
在“C：\ Scala”下安装Scala只是为了保持一致，或者您可以选择任何其他目录。设置SCALA_HOME并添加到PATH变量中。

C：\ Users \ ankitthakur＆gt; scala -version Scala代码运行器版本2.11.8 - 版权所有2002-2016，LAMP / EPF
在“C：\ Sbt”下安装SBT，同样设置SBT_HOME和PATH。
从以下链接下载Spark。请记得为Hadoop下载预先构建的版本，否则您需要构建下载的源代码，如果已安装，则可以通过maven执行此操作，否则请下载并安装它。将它放在“C：\ Spark”目录下只是为了保持一致性并设置SPARK_HOME和PATH。 下载路径：http://spark.apache.org/downloads.html
我们在这里完成，但是在windows系统中，如果我们在运行spark-scripts时没有安装winutils.exe文件，我们会收到错误。所以处理这种情况从下面提到的路径下载并将其放在“C：\ Winutils \ bin”目录下{我们需要创建这个目录}并设置HADOOP_HOME和PATH变量。

finalllyyyy !!!!!，我们在这里完成，看起来很冗长但实际上并不相信我，但要确保你已经把所有东西都妥善安置了。请在我的机器上的环境变量快照中获取战利品。 environment variables set for setting up spark.

Answer 2

我有同样的问题。只需获取该spark文件夹并将其粘贴到C：中，并在环境变量中指定路径。它应该工作。

在Windows上运行Spark时出错

2 个答案: