我有一个虚拟化集群，其中包含4个节点的Hadoop 2.9。 每个节点有16个cpu，内存为126 gb。
更多的是我尝试将yarn.scheduler.minimum-allocation-vcores设置为不同于1的东西，当我运行spark-submit声明纱线作为主要时，它只为每个容器使用1个vcore。
有没有办法覆盖它？
谢谢！
答案 0 :(得分：0)
使用spark.executor.cores。来自docs：
每个执行程序使用的核心数。在独立和Mesos粗粒度模式下，设置此参数允许应用程序在同一个worker上运行多个执行程序，前提是该worker上有足够的内核。否则，每个应用程序只会运行一个执行程序。
默认情况下为：
在YARN模式下1