Windows 10上的Spark无法正常工作

时间:2016-09-02 16:15:08

标签: apache-spark windows-10

我试图在win10上获得火花。当我尝试运行spark shell时出现此错误:

  

' Spark \ spark-2.0.0-bin-hadoop2.7 \ bin .. \ jars"" \未被识别为内部或外部命令,可操作程序或批处理文件。

     

无法找到Spark jars目录。你需要在运行这个程序之前构建Spark。

我正在为hadoop 2.7或更高版本使用预制火花。我已经安装了java 8,eclipse neon,python 2.7,scala 2.11,为hadoop 2.7.1获得winutils而且我仍然得到这个错误。

当我下载了火花时,它出现在tgz中,当提取时内部还有另一个tzg,所以我也提取它然后我得到了所有的bin文件夹和东西。我需要访问spark-shell。有人可以帮忙吗?

编辑: 解决方案我最终使用:

1)虚拟框

2)Linux mint

3 个答案:

答案 0 :(得分:3)

构建Spark时遇到了同样的错误。您可以将解压缩的文件夹移动到C:\

参考: http://techgobi.blogspot.in/2016/08/configure-spark-on-windows-some-error.html

答案 1 :(得分:1)

您可能向Spark bin提供了错误的文件夹路径。

只需打开命令提示符并将目录更改为spark文件夹中的bin

输入spark-shell进行检查。

参考:Spark on win 10

答案 2 :(得分:0)

“在Windows上,我发现如果将其安装在路径(C:\ Program Files \ Spark)中具有空格的目录中,则安装将失败。将其移动到根目录或另一个没有空格的目录中。 ” 要么 如果已将Spark安装在“ C:\ Program Files(x86)..”下,请在PATH env变量和SPARK_HOME用户变量中用Progra〜2替换“ Program Files(x86)”。