Spark 1.5 - 意外的执行者数量

时间:2015-12-06 17:52:41

标签: amazon-web-services apache-spark shuffle executor

我在AWS上运行一个spark作业(cr1.8xlarge实例,32个内核,每个节点有240 GB内存),具有以下配置:

(集群有一个主服务器和25个从服务器,我希望每个从服务器节点有2个执行器)

enter image description here

但是,在作业跟踪器中,它只有25个执行程序:

enter image description here

为什么它只有25个执行者,而我明确要求它生成50?谢谢!

0 个答案:

没有答案