Question

是否有可能在一台机器上本地运行 Spark独立集群（这与仅在本地开发作业（即local[*]））基本不同？？

到目前为止，我正在运行2个不同的虚拟机来构建集群，如果我可以在同一台计算机上运行独立集群，让例如运行三个不同的JVM，该怎么办？

像多个环回地址这样的东西可以解决这个问题吗？

Answer 1

是的，你可以做到这一点，启动一个主节点和一个工作节点，你很高兴

启动大师

./sbin/start-master.sh

发射工作者

./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://localhost:7077 -c 1 -m 512M

运行SparkPi示例

./bin/spark-submit  --class org.apache.spark.examples.SparkPi   --master spark://localhost:7077  lib/spark-examples-1.2.1-hadoop2.4.0.jar

Apache Spark Standalone Mode Documentation

Answer 2

最新版本（2.1.0）的小更新，默认是将master绑定到主机名，因此在本地启动worker时使用{{1}的输出}：

hostname

要运行示例，只需运行以下命令：

./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://`hostname`:7077 -c 1 -m 512M

Answer 3

如果在您的计算机上找不到./sbin/start-master.sh文件，您也可以使用

启动主文件

./bin/spark-class org.apache.spark.deploy.master.Master

Answer 4

更简单，

./sbin/start-all.sh

在您的本地机器上，将启动一个 master 和一个 worker。

./bin/spark-submit  \
--class org.apache.spark.examples.SparkPi   \
--master spark://localhost:7077  \
examples/jars/spark-examples_2.12-3.0.1.jar 10000

提交了一个示例应用程序。通过 Web UI 进行监控：

Master UI:      http://localhost:8080
Worker UI:      http://localhost:8081
Application UI: http://localhost:4040

Spark - 如何在本地运行独立群集

4 个答案: