Question

我已按照此tutorial配置了hadoop 2.7.4。 DataNode，NameNode和SecondaryNameNode正常工作。

但是当我运行yarn时，NodeManager会关闭以下消息

org.apache.hadoop.yarn.exceptions.YarnRuntimeException： org.apache.hadoop.yarn.exceptions.YarnRuntimeException：已收到来自Resourcemanager的SHUTDOWN信号，注册NodeManager 失败，来自ResourceManager的消息：来自localhost的NodeManager 不满足最小分配，发送SHUTDOWN信号到节点管理器。

我的系统有8个CPU，内存为8 GB。如何使用这些资源配置纱线？我发现了许多诸如this之类但找不到解决我问题的任何解决方案。

Answer 1

我在课程中遇到了同样的问题。我们使用的是具有 2 核心的Amazon虚拟机。

在yarn-site.xml中进行各种修改后，我们运行的NodeManager设置了以下属性

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
</property>

在您的情况下，您可能需要建立 8 虚拟核心。

使用Hadoop 2.7.4资源问题配置Yarn

1 个答案: