火花执行器内存开销是否包含JVM内存成本?

时间:2017-05-15 17:02:43

标签: hadoop apache-spark

我在YARN上运行spark并且每个执行程序在CGroup中运行,对于任务我将执行程序内存指定为10G,而CGroup内存限制11G考虑执行程序内存开销(默认值,0.1),但似乎是Java进程总是试图使用超过11G的内存然后被CGroup杀死,因为这触发了一个oom。 那么1GB火花执行器内存开销是否包括JVM的所有内存成本?是否需要更多的内存成本?或者我应该尝试增加CGroup内存限制? 这是我的执行器的启动命令行和触发oom的dmesg日志: the start command line of my executor dmesg logs

0 个答案:

没有答案