有人可以解释一下,对于每个数据节点数为128GB的群集,将min容器大小设置为512 MB的小值会产生什么负面影响?
MIN_CONTAINER_SIZE =
╔═════════════════════╦════════════════════════ ══╗
║每个节点的总RAM数量║推荐的Min Container║
╠═════════════════════╬══════════════════════════╣
║小于4GB║256MB║
║介于4 GB和4 GB之间8 GB×512 MB║
║介于8 GB和8之间24GB║1024MB║
║24GB以上║2048 MB║
╚═════════════════════╩══════════════════════════╝
遵守这些准则有什么好处?
如果我们有处理少量数据的作业,不会有一个小的yarn.scheduler.minimum-allocation-mb = 512 MB并且更大 mapreduce.map.memory.mb = 4096(即使这个设置为上述参数的两倍) 允许大量容器之间的弹性,从而更多的分裂,并在需要时让它们变得更大?