我的环境结合了4个物理节点和少量RAM，每个节点有8个CPU核心。 我注意到spark会自动决定拆分每个CPU的RAM。结果是发生了内存错误。 我正在使用大数据结构，我希望每个执行器都有物理节点上的整个RAM内存（否则我会收到内存错误）。 我试图在'yarn-site.xml'文件中配置'yarn.nodemanager.resource.cpu-vcores 1'或在spark-defaults.conf上配置'spark.driver.cores 1'而没有任何成功。
答案 0 :(得分：0)
尝试设置spark.executor.cores 1