Hadoop:纱线和本地内存的使用

时间:2019-06-13 16:36:48

标签: hadoop yarn hadoop2

如果我们为纱线保留80%的内存,然后由于某种原因,例如说内存泄漏,则os和本地程序消耗了50%的内存。

毛线会知道他只有50%吗?对新提交的申请有什么影响?

1 个答案:

答案 0 :(得分:0)

YARN不会监视操作系统的可用内存。与其他所有程序一样,它是作为正常过程运行的。因此,只要有更多可用内存,操作系统就会执行它的操作。

RE:MapReduce,大多数MR作业通常使用的内存远远少于所需的内存,因此在大多数情况下,本地进程消耗过多的内存不会引起任何问题。 YARN开发人员已经注意到这种未充分利用的模式,并启用了功能Opportunistic Containers以最大程度地提高节点效率。