我正在关注Spark的here来收集JVM的垃圾收集信息。我将以下行添加到spark-defaults.conf
希望得到它们。
spark.executor.extraJavaOptions -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps
我在本地模式下的驱动程序输出中看不到任何与GC相关的信息。如何启用它们?
答案 0 :(得分:2)
tl; dr 改为使用spark.driver.extraJavaOptions
。
由于您在local
模式下工作,因此驱动程序和执行程序是相同的,即只有一个JVM承载驱动程序和一个执行程序。