如何在Spark作业中设置自定义mapred属性

时间:2019-04-15 15:43:12

标签: apache-spark hadoop mapreduce

由于容器运行超出了物理内存限制而被杀死。

运行超出物理内存限制。当前使用情况:已使用1.5 GB物理内存中的1.5 GB;使用了3.7 GB的3.1 GB虚拟内存。杀死容器

尝试设置--conf spark.yarn.scheduler.minimum-allocation-mb = 2048 --conf spark.yarn.nodemanager.vmem-pmem-ratio = 5 --conf spark.yarn.nodemanager.vmem-check-enabled = false \ --conf spark.hadoop.mapreduce.map.memory.mb = 4096- -conf spark.hadoop.mapreduce.reduce.memory.mb = 8192 **强文本** 但问题仍未解决。

0 个答案:

没有答案