带有Hadoop发行版的Apache Spark无法在Windows上运行

Question

我尝试使用Cygwin在Windows上运行spark-1.5.1-bin-hadoop2.6发行版（以及具有相同结果的Spark的更新版本）。
当尝试在bin文件夹中执行spark-shell脚本时，我得到以下输出： 错误：无法找到或加载主类org.apache.spark.launcher.Main

我尝试将CLASSPATH设置为lib / spark-assembly-1.5.1-hadoop2.6.0.jar的位置，但无济于事。

（仅供参考：我可以在我的MAC上运行相同的发行版，无需额外的设置步骤）

请协助在Windows上查找Cygwin执行的解决方案。

Answer 1

我在Windows 10和spark-1.6.0上遇到了与cywin类似的问题。

1. 使用Maven构建（也许你已经过了这一步）

   mvn -DskipTests包

2. 确保JAVA_HOME设置为JDK

   $ export JAVA_HOME =＆＃34; C：\ Program Files \ Java \ jdk1.8.0_60＆＃34;

   $ ls＆＃34; $ JAVA_HOME＆＃34;

bin包括LICENSE THIRDPARTYLICENSEREADME.txt ....

1. 使用Windows批处理文件。如果您遇到cygwin的终端问题，请从PowerShell或CommandPrompt启动。

   $ chmod a + x bin / spark-shell.cmd

   $ ./bin/spark-shell.cmd

Answer 2

我解决这个问题的方法是将Spark安装移动到一个没有空格的路径中。在Program Files下，我收到了上述错误，但直接在C:\下移动并运行spark-shell.bat文件已将其清除。