纱线使用的内存量与实际机器使用的内存量不匹配

Question

我发现，纱线UI上的一个节点使用的内存量为8G，但实际上使用free -h命令检查7.4G的内存使用情况。两种内存不一致的原因是什么？

Answer 1

在Linux上通过“ free -m / h”命令看到的内存与在YARN UI上可见的容器内存之间没有直接关联。 YARN使用容器的概念进行工作。因此，容器在内核方面混合了内存分配和CPU分配。在该过程开始期间，服务器上的可用内存将很高，一旦完成容器分配，通过“ free”命令可见的内存将大大减少。实际上，YARN已在内部将内存分配给了容器。