我对多节点 hadoop 集群的纱线配置感到困惑。
我在 Hadoop 中有多节点(3 个节点)。我有 4 个虚拟机(1 个主节点和 3 个数据节点)。我的主机是 Windows,4 VM 是 Linux ubuntu。在我的 Virtualbox 上,我选择了固定大小的分配,它从我的主机中获取了实际大小。
这是我的纱线配置: 纱线站点.xml
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20000</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>5</value>
</property>
</configuration>
这是我的 mapred-site.xml 文件:
<configuration>
<property>
<name>mapreduce.map.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1638m</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx3278m</value>
</property>
<property>
<name>mapreduce.map.cpu.vcores</name>
<value>2</value>
</property>
<property>
<name>mapreduce.reduce.cpu.vcores</name>
<value>3</value>
</property>
</configuration>
我的输入数据大小为 26GB。我一直保存在 hdfs 中。
我对 Hadoop 非常陌生。请让我知道我必须如何配置 yarn-site.xml 和 mapred-sit.xml 文件。