为什么我的Spark只在群集中使用两台计算机？

Question

我在拥有7台计算机的群集中使用Spark 1.3.1在StandAlone模式下。其中2台机器功能强大，拥有64个内核和1024 GB内存，而其他机器有40个内核和256 GB内存。其中一台功能强大的机器设置为主机，其他机器设置为主机。每个从机运行4个工人。

当我在其中一台功能强大的机器上运行我的驱动程序时，我发现只需要来自两台功能强大的机器的内核。下面是我的火花大师的Web UI的一部分。

我对此Spark驱动程序的配置如下：

spark.scheduling.mode=FAIR
spark.default.parallelism=32
spark.cores.max=512
spark.executor.memory=256g
spark.logConf=true

为什么火花会这样？这是好事还是坏事？谢谢！

Answer 1

考虑从已定义的256GB 降低执行者的内存。

为了将来，请考虑分配大约75％的可用内存。