如何在笔记本电脑上设置Spark集群？

Question

我是Spark的新手，并尝试运行教程example，该教程计算本地文件系统中文本文件中包含“a”和“b”的行数。

我正在使用SparkContext和master = "local"运行它，即Spark正在同一个JVM中运行。现在我想在“集群模式”中尝试它。

所以我想在我的Mac笔记本电脑上本地运行集群管理器的Spark集群和两个工作节点。最简单的方法是什么？

Answer 1

引用有关Spark Standalone Mode的官方文档：

./sbin/start-master.sh

./sbin/start-slave.sh <master-spark-URL>

换句话说，您应首先启动独立Master（使用./sbin/start-master.sh），然后启动一个或多个独立Worker（使用./sbin/start-slave.sh）。

再次引用文档：

  

启动工作人员后，请查看主人的网络用户界面（默认情况下为http://localhost:8080）

你已经完成了。 恭喜！

Answer 2

如果您希望了解使用SPARK的各种方法，我建议您下载CLOUDERA快速启动VM，它将提供简单的群集设置。

您需要做的就是下载quick start VM并相应地使用设置。

可在此处找到quick start VM

参考：Cloudera VM