在Spark中缓存时内存膨胀

时间:2019-06-26 05:34:01

标签: apache-spark memory cloudera

我有一个5节点群集,每个群集具有132 GB的物理内存,并由Cloudera管理。但是,属性 import { Component, OnInit, ViewChild } from '@angular/core'; import { MatSidenav } from '@angular/material'; @Component({ selector: 'app-root', templateUrl: './app.component.html', styleUrls: ['./app.component.css'] }) export class AppComponent implements OnInit { @ViewChild('sidenav') sidenav: MatSidenav; constructor(){ } ngOnInit(){} toggleSideNav(){ this.sidenav.toggle(); } } yarn.nodemanager.resource.memory-mb均已设置为100 GB。我提交的作业有5个执行者,每个执行者5个内核,每个执行者40 GB内存。这段代码只是将大小为16 GB的文件放入RDD并按以下方式进行缓存

yarn.scheduler.maximum-allocation-mb

在运行时,我观察到分别运行2 + 2 + 1执行程序的3个节点的物理内存消耗。节点的最大内存分别为54、26、48 GB。

为什么内存膨胀,而我的输入只有16 GB。

预先感谢!

0 个答案:

没有答案