当我们对非流媒体应用使用spark on yarn时,我们通常会获得分配的内存以匹配执行程序的数量乘以每个执行程序的内存。在进行流媒体应用时,分配的内存会立即被推到极限(总内存),如纱线控制台中所示。
使用这组参数 --driver-memory 2g --num-executors 32 --executor-memory 500m 总内存90G,内存使用85.88G 总vcores 64,vcores使用33
你会期望32 * 1 G(500m +开销)+驱动程序内存或34 G左右,33个vcores(32名工作人员+ 1个驱动程序)
问题: