单台Windows机器上的多个Spark工作者

Question

我正在尝试使用Windows上的Intellij通过Scala自学Spark。我在一台机器上执行此操作，我想在单台机器上启动多个工作程序来模拟集群。我读了this page，其中说的是

“启动脚本目前不支持Windows。要在Windows上运行Spark群集，请手动启动主服务器和工作程序。”

我不知道手动启动主人和工人意味着什么。有人可以帮忙吗？非常感谢任何帮助/建议。

Answer 1

要手动启动Spark Master，请从％SPARK_HOME％\ bin

运行以下命令

spark-class org.apache.spark.deploy.master.Master

上面的命令也会打印像spark：// ip：port
这样的主URL 主UI可以在localhost：8080

访问

要启动Spark Worker，请运行

spark-class org.apache.spark.deploy.worker.Worker spark://ip:port

现在，如果刷新Master UI，您可以看到Workers部分下列出的新工作人员 重复该命令，将多个worker添加到同一个master中。