Question

我使用的是16核，64 GB RAM，2.5 TB磁盘的服务器，我想执行Giraph程序。我已经安装了hadoop-2.7.2并且我不知道如何配置hadoop只使用部分服务器资源，因为许多用户使用的服务器。 要求： Hadoop必须使用最多12个核心（= 4个核心用于NameNode，DataNode，JobTracker，TaskTracker和最多8个用于任务）和最大28GB RAM（即4 * 3GB + 8 * 2GB）

My Yarn-site资源配置：

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>28672</value>
<description>Physical memory, in MB, to be made available to running containers</description>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>12</value>
    <description>Number of CPU cores that can be allocated for containers.</description>
</property>
</configuration>

当我尝试执行Giraph程序时，在http://localhost:8088 Yarn应用程序状态为：ACCEPTED：等待AM容器分配，启动并注册RM。

我认为我的Yarn-site.xml中缺少一些配置以适应上述要求。

Answer 1

在为服务分配资源之前，先看一下Cloudera的Yarn tuning Guide文件，你就会知道应该为OS，Hadoop守护进程等分配多少资源

如你所说

纱线申请状态为：ACCEPTED：等待AM容器分配，启动并注册RM

如果作业没有可用资源，那么它将处于ACCEPTED状态，直到获得资源。因此，在您的情况下，请检查同时提交的作业数量，并检查这些作业的资源利用率。

如果您不想等待工作，则必须考虑创建scheduler queues

Hadoop-2.7.2：如何管理资源

1 个答案: