标签: amazon-web-services apache-spark shuffle executor
我在AWS上运行一个spark作业(cr1.8xlarge实例,32个内核,每个节点有240 GB内存),具有以下配置:
(集群有一个主服务器和25个从服务器,我希望每个从服务器节点有2个执行器)
但是,在作业跟踪器中,它只有25个执行程序:
为什么它只有25个执行者,而我明确要求它生成50?谢谢!