我在这里有三个问题。
备注
工作量:读取hbase->做少量处理->在hdfs上另存为实木复合地板
数据大小:〜40T
执行者人数:180
执行程序堆内存:16G
执行器开销内存:4G
执行器jvm:oracle 64bit
执行程序jvm args:-Xms16g -Xmx16g -XX:+UseG1GC -XX:G1HeapRegionSize=32m -XX:+UseCompressedOops
堆内存使用情况 G1伊甸园空间 G1幸存者空间 G1旧空间 GC统计信息
G1年轻一代(1,034个收藏集)上的6分钟
G1 Old Generation(46个收藏集)上的22分钟
让我们看看堆是什么样的(我丢了一个堆)
抱歉,这里没有图片,我昨天用Eclipse Memory Analysis分析它时没有保存它,但是我们可以确保它们是三个大的Hash Map对象,消耗了将近10G的内存(这三个家伙是静态var,不能免费版,这不是bug!它确实需要这三个大的哈希图。)
谢谢。