spark-submit不能获得所提交的资源？

Question

1. 摘要：我正在使用A将应用程序提交到我的Spark集群，但是分配给我的应用程序的资源与我指定的参数不一致。
2. 详细信息：我总是得到4个容器和16个内核以及74752MB RAM（大约73G）。当我将spark-submit模式更改为client时，我得到的只有更少，例如9个容器，9个内核和45056MB RAM（大约44GB）。我在显示应用程序信息的cluster页上找到了此信息。我还交叉引用了cluster:8088的“执行者”标签，其中显示了spark应用程序的执行者信息。
3. 以下是我使用的代码段： spark:4044
4. 环境信息：纱线上的Spark1.6，Hadoop2.6。一个由4个节点组成的集群（其中1个是主节点），每个节点都具有16核CPU和64GB RAM（即使我的节点每个节点只能访问40GB RAM）。
5. 我尝试过的方法：
   1. 我尝试修改上述参数（例如num-executor），但我仍获得相同数量的资源。但是当我将spark-submit --master yarn --deploy-mode client --class "$1" target/scala-2.10/recommend-assembly-0.1.jar --executor-cores 8 --num-executor 15 --driver-memory 19g更改为client时，分配的资源就更少了。
   2. 我怀疑是某种定型的纱线造成的。而且我发现Apache Hadoop Yarn - Underutilization of cores，但是，在我更改cluster中的设置后，它无济于事。

Answer 1

我认为您应该了解纱线上的火花的知识，包括容器，工作台，AM等