在Windows上运行Spark Slave

时间:2016-03-26 13:50:26

标签: scala apache-spark

我的网络上的一台计算机上有一个Spark master并在http 192.168.1.52:4040上运行。当我尝试使用此主URL和/或使用spark而不是http来连接另一台计算机上的从站时,从站将无法启动。当我在第二台计算机上访问http 192.168.1.52:4040时,Web UI完美运行。

这是我正在使用的命令:

.sbin> start-slave.sh http://192.168.1.52:4040

使用spark://而不是http://

提前感谢您的帮助!

1 个答案:

答案 0 :(得分:3)

我能够让它运行起来。该文档提到了Windows计算机的以下内容:

  

要在Windows上运行Spark群集,请启动master和workers   手。

我必须跑

\spark-1.6.1-bin-hadoop2.6\bin>spark-class org.apache.spark.deploy.master.Master

\spark-1.6.1-bin-hadoop2.6\bin>spark-class org.apache.spark.deploy.worker.Worker spark://192.168.56.1:7077

分别管理大师和工人。