Hadoop中的节点数

时间:2016-12-21 13:35:09

标签: hadoop

我目前正在阅读有关Hadoop的next tutorial。我特别感兴趣的是集群中的节点数量。 我现在有两台机器:主机有4个CPU,从机有32个cpu' s。 在章节Multinode Cluster in Hadoop 2.x中,节点的最终结果只是2.这意味着两台机器正在用于HDFS集群以及我如何知道所有36个CPU(4个来自主机+ 32个来自奴隶)正在使用?

1 个答案:

答案 0 :(得分:0)

Hadoop平台具有了解集群资源的ResourceManager。容器的核心数和可用RAM在每个hadoop节点上的yarn中配置。

提交map-reduce作业时,ApplicationMaster会向ResourceManager询问可用资源。基于此,它将启动尽可能多的映射器/缩减器。

您还可以在Application UI中查看有多少资源可用以及特定作业使用了多少资源。