系统找不到spark-shell

时间:2015-11-16 11:24:23

标签: apache-spark

我正在尝试在Win7中安装Spark并且收到错误。

这些是我的环境设置:

SPARK_HOME : C:\spark(这是我解压缩火花文件的地方)

  

JAVA_HOME:C:\ Program Files \ Java \ jdk1.7.0_71;

SCALA_HOME: C:\Program Files (x86)\scala
  

路径:C:\ Program Files \ Java \ jdk1.7.0_71 \ bin; C:\ app \ Sampad \ product \ 11.2.0 \ dbhome_1 \ bin; C:\ Python27; C:\ Program Files \ Python27 \ ; C:\ Program Files \ Python27 \ Scripts; C:\ Program Files(x86)\ Intel \ iCLS Client \; C:\ Program Files \ Intel \ iCLS Client \; C:\ Program Files(x86)\ NVIDIA Corporation \ PhysX \ Common;%SystemRoot%\ system32;%SystemRoot%;%SystemRoot%\ System32 \ Wbem;%SYSTEMROOT%\ System32 \ WindowsPowerShell \ v1.0 \; C:\ Program Files \ Intel \ Intel(R)Management Engine组件\ DAL; C:\ Program Files \ Intel \ Intel(R)Management Engine Components \ IPT; C:\ Program Files(x86)\ Intel \ Intel(R)Management Engine Components \ DAL; C:\ Program Files(x86) \ Intel \ Intel(R)管理引擎组件\ IPT; C:\ Program Files \ Java \ jdk1.6.0_45 \ bin; C:\ Program Files \ nodejs \; C:\ Program Files \ Python27; C:\ Anaconda; C:\ Anaconda \ Scripts; C:\ HashiCorp \ Vagrant \ bin; C:\ Program Files(x86)\ scala \ bin; C:\ spark \ bin;

HADOOP_HOME : C:\winutils; (set this after reading this blog

请让我知道我犯了什么错误。提前谢谢。

10 个答案:

答案 0 :(得分:2)

尝试从

修改spark-shell2.cmd文件的第一行
@echo off

rem @echo off

对我来说,它表明我正尝试从c:\ spark \ bin \ bin的下一行加载文件

"%SPARK_HOME%\bin\spark-submit2.cmd" --class org.apache.spark.repl.Main --name "Spark shell" %*

在我的环境中,%SPARK_HOME%设置为c:\ spark \ bin。我的安装位于c:\ spark \ bin

因此,我将%SPARK_HOME%设置为c:\ Spark并将%SPARK_HOME%\ bin添加到了我的PATH。

答案 1 :(得分:1)

可能会发生这种情况,因为不同的java版本:

  

JAVA_HOME:C:\ Program Files \ Java \ jdk1.7.0_71;

     

C:\ Program Files \ Java \ jdk1.6.0_45 \ bin

而不是" C:\ Program Files \ Java \ jdk1.6.0_45 \ bin"使用"%JAVA_HOME%\ bin"

Spark: Trying to run spark-shell, but get 'cmd' is not recognized as an internal or

答案 2 :(得分:0)

我有类似的问题,我重新安装了java(新版本)并更正了JAVA_HOME。这为我解决了这个问题

答案 3 :(得分:0)

我在Windows 10上遇到同样的问题,确保只有JAVA_HOME值是绝对路径,休息一切都是相对于%JAVA_HOME%

答案 4 :(得分:0)

我遇到了同样的问题,解决方案是重新启动内核并在一个笔记本上工作

答案 5 :(得分:0)

您需要设置JAVA_HOME和路径 首先是你必须走

edit system Environment variable -> Environment variable -> under the User varibales for <user> 

添加新

1. JAVA_HOME = C:\Program Files\Java\jdk1.8.0_191
In path 
add %JAVA_HOME%\bin

2. SPARK_HOME = C:\spark   //*spark is my folder where i have installed spark*
In path
add %SPARK_HOME%\bin

这将解决您的问题

答案 6 :(得分:0)

对我来说,上面指定的所有内容都是正确的,但仍然无法正常工作。

我发现的原因是“系统变量” 部分中添加了所有环境变量,因此当我在“用户变量” 部分中添加它们时,它开始起作用。 / p>

我在用户变量中添加了JAVA_HOME,SPARK_HOME, HADOOP_HOMEPATH

答案 7 :(得分:0)

原因之一是JAVA_HOME或SPARK_HOME在路径中有一个空格。在这种情况下:

“ SCALA_HOME:C:\ Program Files(x86)\ scala”

“程序文件(x86)”之后的路径中有空格。尝试将文件移动到完整路径中不会占用空间的位置。就我而言,JAVA_HOME路径中有空格。

答案 8 :(得分:0)

我在没有空格的文件夹中安装了Java和spark,并且我正在使用Windows 10。

就我而言,我添加了

JAVA_HOME=C:\Java\jdk1.8.0_191\bin

因此它试图在“ C:\ Program Files \ Java \ jdk1.8.0_191 \ bin \ bin”中搜索可执行文件

确保将变量添加为

JAVA_HOME = C:\Java\jdk1.8.0_191

并在路径中添加环境变量

%JAVA_HOME%\bin

“”“与SPARK_HOME相同”“

现在对我有用!

答案 9 :(得分:0)

我遇到了同样的问题,但我通过正确设置 JAVA_HOME 环境变量解决了它。基本上,您需要 JAVA 版本 8 才能运行 Spark。所以你需要安装JAVA 8,并像设置SPARK_HOME一样正确设置环境和路径。例如变量名:JAVA_HOME,变量值:C:\JAVA。然后你去路径,设置java的路径为:%JAVA_HOME%