我在spark中运行reduceByKey时出现性能问题,打开GC日志后,我发现问题发生在频繁的FULL GC上。
751.718:[全GC(人类工效学)[PSYoungGen:356320K-> 0K(1864192K)] [ParOldGen:4890231K-> 5043998K(5592576K)] 5246551K-> 5043998K(7456768K),[Metaspace:65608K-> ; 65608K(1107968K)],11.6391872秒] [时间:用户= 69.96 sys = 0.09,实际= 11.64秒] 764.221:[全GC(人机工程学)[PSYoungGen:806098K-> 0K(1864192K)] [ParOldGen:5043998K-> 5346213K(5592576K)] 5850097K-> 5346213K(7456768K),[Metaspace:65608K-> 65608K( 1107968K)],21.0566545秒] [时间:用户= 141.88 sys = 0.29,实际= 21.05秒] 786.932:[全GC(人机工程学)[PSYoungGen:932352K-> 122871K(1864192K)] [ParOldGen:5346213K-> 5592398K(5592576K)] 6278565K-> 5715270K(7456768K),[Metaspace:65608K-> 65608K( 1107968K)],12.0117213秒] [时间:用户= 69.77 sys = 0.05,实际= 12.01秒] 800.961:[全GC(人机工程学)[PSYoungGen:932352K-> 335016K(1864192K)] [ParOldGen:5592398K-> 5592312K(5592576K)] 6524750K-> 5927328K(7456768K),[Metaspace:65889K-> 65889K( 1110016K)],22.2050083秒] [时间:用户= 141.05 sys = 0.27,真实= 22.20秒]
我想知道:
非常感谢!