在本地动态Spark集群上运行并行作业

Question

我是Spark的新手，并且我们需要设置一个动态Spark集群来运行多个作业。通过参考一些文章，我们可以使用EMR（Amazon）服务来实现此目的。 有什么办法可以在本地完成相同的设置吗？ 一旦Spark群集可用于在不同服务器上不同端口上运行的服务，如何为每个作业将薄雾指向新的Spark群集。 预先感谢。

Answer 1

是的，您可以使用Spark提供的Standalone集群来设置Spark集群（主节点和从节点）。也可以使用docker容器来实现这一目标。看看here。

采用和部署本地Hadoop生态系统（如MapR，Hortonworks，Cloudera）的其他选择。