--executor-memory 12G和--executor-memory 8G之间的区别--conf spark.yarn.memoryoverhead 4G

时间:2017-04-01 02:45:53

标签: java apache-spark scheduler

在过去的几天里,我在火花中遇到了很多OOM问题。所以我用谷歌搜索了如何处理这个问题,有人建议增加你的开销内存(关闭堆内存的大小)。我知道off heap内存属于系统而不是jvm,我的问题是:--executor-memory 12G和(--executor-memory 8G --conf spark.yarn.memoryoverhead 4G)之间的区别是什么这两个配置分配了12G内存来编程。有没有可能某些项目可以在两个配置中的一个上成功运行,但是由于OOM会在另一个上失败? 谢谢你的时间!

0 个答案:

没有答案