如何为Spark执行程序配置Xmn

时间:2018-01-16 16:46:55

标签: performance apache-spark garbage-collection jvm executor

在Spark GC Tuning(https://spark.apache.org/docs/latest/tuning.html#garbage-collection-tuning)的文档中,它表示当有太多次要GC时使用选项-Xmn增加Young生成。我已尝试将其放入" spark.executor.extraJavaOptions",但无法正常工作。我应该在哪里配置此JVM设置?

1 个答案:

答案 0 :(得分:0)

实际上,这是一种误报。它适用于以下配置  spark.executor.extraJavaOptions =“ - Xmn1g -verbose:gc -XX:+ UseParallelGC -XX:+ PrintGCDetails -XX:+ PrintGCTimeStamps -XX:+ PrintTenuringDistribution”