Hadoop集群中按应用程序主容器分配容器

时间:2018-07-18 11:02:08

标签: containers hadoop2 hadoop-partitioning resourcemanager

有人可以解释我AM如何在集群中的节点上分配容器吗?

也请考虑以下用例,因为我们知道默认的最小容器大小为1024 MB

考虑Hadoop群集<1-主节点和3-数据节点>

  • Namenode:主节点(3GB RAM,2核)
  • 数据节点:data1(512MB RAM,1核),
  • data2(512MB RAM,1核),
  • data3(1GB RAM,1核)。
  • 输入文件大小:“文件” = 500MB,复制因子为3(所有节点均具有所有块)
  • 默认块大小= 128 MB

因此,“文件”将被分为4个块

由于Repli.Factor = 3,所有节点将具有所有4个块,即4个容器。

默认最小容器大小为1024 MB

问题1:AM将在哪个数据节点上分配容器?

问题2:数据1和数据2具有512MB的RAM,这是否意味着AM永远不会在这些数据节点上分配容器?

0 个答案:

没有答案