Spark Streaming-诊断：容器运行超出物理内存限制

Question

我的Spark Streaming作业失败，出现以下异常

  

诊断：容器正在运行，超出了物理内存限制。   当前使用情况：已使用1.5 GB物理内存中的1.5 GB； 3.6 GB的3.1 GB   使用的虚拟内存。杀死容器。

这是我的spark提交命令

spark2-submit \
--name App name \
--class Class name \
--master yarn \
--deploy-mode cluster \
--queue Queue name \
--num-executors 5 --executor-cores 3 --executor-memory 5G \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.locality.wait=10 \
--conf spark.task.maxFailures=8 \
--conf spark.ui.killEnabled=false \
--conf spark.logConf=true \
--conf spark.yarn.driver.memoryOverhead=512 \
--conf spark.yarn.executor.memoryOverhead=2048 \
--conf spark.yarn.max.executor.failures=40 \
jar path

我不确定是什么原因导致了上述问题。我是否在上面的命令中丢失了某些内容？还是由于我未在spark提交命令中设置-driver-memory 而失败？