我在Yarn上运行了一个火花流应用程序，它运行了好几天，之后我遇到了一个问题，来自下面纱线列表的错误消息：
Application application_1449727361299_0049 failed 2 times due to AM Container for appattempt_1449727361299_0049_000002 exited with exitCode: -104
For more detailed output, check application tracking page:https://sccsparkdev03:26001/cluster/app/application_1449727361299_0049Then, click on links to logs of each attempt.
Diagnostics: Container [pid=25317,containerID=container_1449727361299_0049_02_000001] is running beyond physical memory limits. Current usage: 3.5 GB of 3.5 GB physical memory used; 5.3 GB of 8.8 GB virtual memory used. Killing container.
这是我的记忆配置：
spark.driver.memory = 3g
spark.executor.memory = 3g
mapred.child.java.opts -Xms1024M -Xmx3584M
mapreduce.map.java.opts -Xmx2048M
mapreduce.map.memory.mb 4096
mapreduce.reduce.java.opts -Xmx3276M
mapreduce.reduce.memory.mb 4096
这个OOM错误很奇怪，因为我没有在内存中维护任何数据，因为它是一个流媒体程序，是否有人遇到过类似的问题？或者谁知道是什么原因造成的？
答案 0 :(得分：-1)
检查您正在运行它的box / vm实例上的mem。我的猜测主机是红色的。
......由于看起来过度分配内存。
您认为流媒体会在哪里执行？无论你在那里存放什么？对。记忆。不是猫或跳舞维京（加“e”）。
猜猜是什么？你正在分配7 GB的内存，这个内存对物理虚拟内存很重要。检查您的日志记录，因为这会有类似的构建时间。
什么是spark.yarn.am.memory值？
平衡虚拟机和容器内存分配：）
另一个想法是调整memoryOverhead以便物理和虚拟可以更成比例