Question

使用win7-64，jdk8，sparks1.6.2。我有火花跑，winutils，HADOOP_HOME等

每个文档注意：启动脚本目前不支持Windows。要在Windows上运行Spark群集，请手动启动主服务器和工作程序。但是不说怎么样？

如何在Windows上启动spark master？

尝试通过git bash运行sh start-master.sh：failed to launch org.apache.spark.deploy.master.Master:即使它打印出 Master --ip Sam-Toshiba --port 7077 --webui-port 8080 - 所以我不知道这一切意味着什么。但是当我尝试spark-submit --class " " --master spark://Sam-Toshiba:7077 target/ .jar时 - 我收到错误： WARN AbstractLifeCycle：FAILED SelectChannelConnector@0.0.0.0： 4040：java.net.BindException：已在使用的地址：bind java.net.BindException：已在使用的地址

WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
17/01/12 14:44:29 WARN AppClient$ClientEndpoint: Failed to connect to master Sam-Toshiba:7077
java.io.IOException: Failed to connect to Sam-Toshiba/192.168.137.1:7077
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)

还尝试了spark：// localhost：7077 - 同样的错误

Answer 1

在Windows上，您可以使用以下命令启动Master。打开命令提示符并转到Spark bin文件夹并执行

spark-class.cmd org.apache.spark.deploy.master.Master

以上命令将根据您机器的IP在控制台中打印Master: Starting Spark master at spark://192.168.99.1:7077。您可以在http://192.168.99.1:8080/

查看用户界面

如果您想在主人启动后启动工作人员，您可以使用以下命令。这将使用您机器的所有可用内核。

spark-class.cmd org.apache.spark.deploy.worker.Worker spark://192.168.99.1:7077

如果您想使用4芯机器的2个核心，请使用

spark-class.cmd org.apache.spark.deploy.worker.Worker -c 2 spark://192.168.99.1:7077

启动spark master windows7

1 个答案: