火花流的纱线内存分配

时间:2016-01-22 02:07:18

标签: yarn spark-streaming

当我们对非流媒体应用使用spark on yarn时,我们通常会获得分配的内存以匹配执行程序的数量乘以每个执行程序的内存。在进行流媒体应用时,分配的内存会立即被推到极限(总内存),如纱线控制台中所示。

使用这组参数 --driver-memory 2g --num-executors 32 --executor-memory 500m 总内存90G,内存使用85.88G 总vcores 64,vcores使用33

你会期望32 * 1 G(500m +开销)+驱动程序内存或34 G左右,33个vcores(32名工作人员+ 1个驱动程序)

问题:

    由于需要2个核心对进行流连接和处理,
  1. 是64个核心?
  2. 估计34 G如何被推到85.88 G?对于流媒体应用程序来说,纱线能给它带来的一切吗?

0 个答案:

没有答案