无法使用Cygwin在Windows上启动Apache Spark

时间:2015-10-05 12:33:29

标签: apache-spark

我很抱歉,如果这太微不足道了,但我对Spark很新。我使用Maven从代码构建了Windows上的Apache Spark。我使用Cygwin构建并且工作正常。现在我无法使用sbin目录中的命令(./start-master.sh)启动它。

我收到以下错误: 无法启动org.apache.spark.deploy.master.Master:

Error: Could not find or load main class org.apache.spark.launcher.Main
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host

我知道它正在类路径中寻找spark-launcher_2.10-1.5.1.jar,但我无法在脚本中识别出定义类路径或lib目录的位置。

1 个答案:

答案 0 :(得分:5)

您可以按照Gimby提到的Building a Runnable Distribution步骤进行操作,例如:

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn

正如Patrick McGloin所提到的,您也可以在Windows上启动Spark Cluster,例如:

spark-class.cmd org.apache.spark.deploy.master.Master
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077

您可以在Spark Standalone ModeHow to set up Spark cluster on Windows machines?

中阅读更多内容

最后,正如OP提到的那样,他能够构建一个可运行的发行版,在父目录中创建一个新的Custom-spark tar文件。 (S)他拿了这个文件,在另一个目录中解压缩,转到bin子目录然后能够调出scala-shell。