Cloudera Manager“内存过量使用验证阈值”

时间:2015-08-13 15:09:25

标签: hadoop memory memory-management cloudera

我目前有一台3台机器的集群都在运行Ubuntu,并且已经使用Cloudera Manager进行了配置。查看群集后,我看到其中两台计算机出现“内存过量使用验证阈值”错误。一个是在机器中只有3.8GB的物理内存时使用6.3GB的内存,另一个是在机器中只有7.8GB的物理内存时使用11.6GB的内存。

我认为这是因为这两个被设置为datanode和namenodes,但我不知道如何使它只使用可用的内存而不是交换。我已经在sysctl.conf文件中将swappiness设置为0。

我无法使用其他计算机作为namenode或向计算机添加任何内存。知道如何降低内存使用量,以及我应该降低到什么程度,以便集群因内存太少而无法启动失败?

1 个答案:

答案 0 :(得分:2)

这与Swappiness完全无关。仅当为该节点上的服务分配的内存大于该节点可用的总内存时,才会出现此错误(请注意,默认情况下,系统会为系统保留 20%

转到每台主机上的资源页面,查看每项服务使用的内存量。您可以通过转到配置选项卡(针对每个服务)并更改它来降低每个服务使用的内存量(使用配置页面的搜索栏中的“内存”或“堆”)带来这些属性)

这样做可以消除该错误,但这不是推荐的修复方法。首先出现此错误的原因是您的群集上可能运行的服务太多。尝试摆脱一些你不使用的东西。您可以随时添加它们(当您添加更多内存时)