EC2上的Spark无法利用所有可用内核

Question

我在通过Spark脚本设置的EC2群集上运行spark-ec2.sh。我推出的5个从属实例有40个内核，但每个实例都无法使用所有内核。

从奴隶日志中，我可以看到奴隶似乎逐个执行任务。我在奴隶实例上运行顶级，cpu大约是100％而不是800％。

我打开了spark.mesos.coarse模式。并且数据被分成40个块。当我在我当地以独立模式运行Spark时，它可以使用8个核心。

我能做些什么来让Spark奴隶利用所有可用的核心？

Answer 1

在创建spark.cores.max

之前尝试设置8让我们说SparkContext 火花0.9中的

：

val conf = new SparkConf() 
   .setMaster("...")
   .set("spark.cores.max", "8")
val sc = new SparkContext(conf)