如何使用EMR使从属节点适用于Spark集群？

Question

我尝试使用EMR在Spark群集上运行作业。集群有一个主服务器和两个从服务器，每个节点（主节点或从节点）有32个核心。工作是通过控制台使用“添加步骤”，配置如下：

sparkConf.setMaster（“local [24]”）。set（“spark.executor.memory”，“40g”）             .set（“spark.driver.memory”，“40g”）;

然后我注意到两个奴隶没有工作（CPU使用率接近0），只有主人努力工作。如何解决此问题并使奴隶工作？

谢谢！

Answer 1

当您指定本地＆＃39; master表示master是本地的 - 它不是通过节点分发的。

你应该遵循以下文档： http://spark.apache.org/docs/1.2.0/spark-standalone.html

Answer 2

我最近才开始在EMR上使用Spark，但我发现these examples对启动/配置群集和提交Spark作业非常有帮助。