Question

我想问一下，在yarn-site.xml和mapred-site.xml中的hadoop yarn中都有像最小和最大内存或vcore这样的属性。我有点混淆，实际上实际上分配了多少内存和vcore，因为在配置上我们只写最小值和最大值而不是实际大小。

如果我有16 GB的内存和4个vcore 和这样的配置：

db.Users.update({"email":response.email},{$set:{Fbuser: null}}, {upsert:true})

实际上，我的计算机为一个容器分配了多少内存和vcore？

这就是全部，很多

Answer 1

YARN是通用资源管理器，您可以将它用于各种应用程序，如mapreduce，spark，hive，kafka ....

因此，在纱线中，我们定义应用程序可以请求的每个容器的最小和最大内存/核心，在特定应用程序中定义所需的实际内存和核心。

在mapreduce中，我们定义了要分配到mapred-site.xml中的map和reduce任务的内核和内存。

<property>
    <name>mapreduce.map.cpu.vcores</name>
    <value>1</value>
</property>

<property>
    <name>mapreduce.reduce.cpu.vcores</name>
    <value>1</value>
</property>

<property>
    <name>mapreduce.map.memory.mb</name>
    <value>6144</value>
    <description>The value specified is in MB(s)</description>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>6144</value>
    <description>The value specified is in MB(s)</description>
</property>

在hadoop YARN上分配了多少内存和vcore？

1 个答案: