在纱线群集模式下运行spark作业时，我收到“Container ...超出虚拟内存限制”错误。 无法忽略此错误或增加Vmem Pmem比率。
通过spark-submit以“--conf spark.driver.memory = 2800m”提交作业。 我认为这是因为yarn.app.mapreduce.am.command-opts的默认值是1G，所以一旦我的驱动程序/ AM使用超过1G的内存，yarn就会杀死我的驱动程序/ AM。
所以我想将“yarn.app.mapreduce.am.command-opts”传递给bash脚本中的spark-submit。使用“spark.driver.extraJavaOptions”错误传递“不允许通过java选项指定最大堆（Xmx）内存设置”
那我怎么通过呢？
编辑：我无法编辑conf文件，因为这将改变所有MR和火花作业。