Hadoop如何为每个节点分配更多内存

Question

我有一个在2个节点（主节点和从节点）上运行的Hadoop集群，每个节点都有 126GB RAM和32个CPU。 当我运行我的集群时，我只能看到每个节点8 GB的内存。我该怎么做呢？每个节点分配的最佳内存是什么以及如何实现？

Answer 1

这篇博文将为您提供大量帮助; http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

Answer 2

您可能必须告诉Hadoop在启动JVM时要使用哪些参数，否则它将使用您的Java实现默认值。

在mapred-site.xml中，您可以添加此mapred.child.java.opts字段以指定用于JVM的内存大小。

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx16000m</value>
</property>

其中16000是您要为每个JVM分配的MB数。

我希望它有所帮助！

Source