Question

由于java.lang.OutOfMemoryError：Java堆空间，我的spark工作失败了。我试过玩executor-cores，executor-memory，num-executors，driver-cores，driver-memory，spark.yarn.driver.memoryOverhead，spark.yarn.executor.memoryOverhead等配置参数Ramzy's answer。以下是我的配置集

--master yarn-cluster --executor-cores 4 --executor-memory 10G --num-executors 30 --driver-cores 4 --driver-memory 16G --queue team_high --conf spark.eventLog.dir=hdfs:///spark-history --conf spark.eventLog.enabled=true --conf spark.yarn.historyServer.address=xxxxxxxxx:xxxx --conf spark.sql.tungsten.enabled=true --conf spark.ui.port=5051 --conf spark.sql.shuffle.partitions=30 --conf spark.yarn.driver.memoryOverhead=1024 --conf spark.yarn.executor.memoryOverhead=1400 --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.sql.orc.filterPushdown=true --conf spark.scheduler.mode=FAIR --conf hive.exec.dynamic.partition=false --conf hive.exec.dynamic.partition.mode=nonstrict --conf mapreduce.fileoutputcommitter.algorithm.version=2 --conf orc.stripe.size=67108864 --conf hive.merge.orcfile.stripe.level=true --conf hive.merge.smallfiles.avgsize=2560000 --conf hive.merge.size.per.task=2560000 --conf spark.driver.extraJavaOptions='-XX:+UseCompressedOops -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps' --conf spark.executor.extraJavaOptions='-XX:+UseCompressedOops -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintHeapAtGC'

它有时会起作用，大部分时间都不能解决上述问题。在调试时，我发现了以下GC日志。有人可以帮助我理解这些日志并帮助我调整这份工作吗？

#
# java.lang.OutOfMemoryError: Java heap space
# -XX:OnOutOfMemoryError="kill %p"
#   Executing /bin/sh -c "kill 79911"...
Heap
 PSYoungGen      total 2330112K, used 876951K [0x00000006eab00000, 0x00000007c0000000, 0x00000007c0000000)
  eden space 1165312K, 75% used [0x00000006eab00000,0x0000000720365f50,0x0000000731d00000)
  from space 1164800K, 0% used [0x0000000731d00000,0x0000000731d00000,0x0000000778e80000)
  to   space 1164800K, 0% used [0x0000000778e80000,0x0000000778e80000,0x00000007c0000000)
 ParOldGen       total 6990848K, used 6990706K [0x0000000540000000, 0x00000006eab00000, 0x00000006eab00000)
  object space 6990848K, 99% used [0x0000000540000000,0x00000006eaadc9c0,0x00000006eab00000)
 Metaspace       used 69711K, capacity 70498K, committed 72536K, reserved 1112064K
  class space    used 9950K, capacity 10182K, committed 10624K, reserved 1048576K
End of LogType:stdout

Answer 1

我在集群中运行spark时遇到间歇性内存问题，我发现，这主要是由于以下原因： -

1）Rdd分区可能太大而无法处理，您可以通过使用repartition API增加分区数来减小分区大小。这将减少每个执行程序将处理的数据量。由于您已向执行程序提供了10g和4个核心，这意味着此执行程序可以运行4个并发任务（分区），这4个任务将共享10g内存，这正好意味着只需2.5g来处理一个分区。

val rddWithMorePartitions = rdd.repartition(rdd.getNumPartitions*2)

2）如果您的用例是计算密集型而您没有进行任何缓存，那么您可以通过调整参数以下来减少为存储分配的内存。

spark.storage.memoryFraction = 0.6（默认）

您可以将其更改为 -

spark.storage.memoryFraction=0.5

3）你应该考虑将执行程序内存增加到25gb以上。

--executor-memory 26G

在Yarn中调整Spark工作

1 个答案: