纱线中的容器数量与设置不同

时间:2018-04-01 09:07:43

标签: hadoop yarn

我正在使用Hadoop 2.9.0和Yarn。我的群集有4个节点(3个从属节点,1个主节点和从节点),每个节点都有

  • 8Gb RAM
  • 8vCores

所以,我的集群完全拥有32Gb RAM和32vCores。

当我运行Hadoop流时,Yarn显示信息如下: enter image description here 这是我的配置

  • HDFS-site.xml中 enter image description here
  • 纱-site.xml中 enter image description here
  • mapred-site.xml中 enter image description here

我的输入文件是151Mb,我设置了dfs.blocksize = 4Mb

所以,我有几个问题:

1)从其他主题,我知道映射器的数量应该等于分裂的数量,即151/4 = 38。并且1个容器只包含1个映射器,因此应该有38个容器。但是从图片中只有1个容器,所以只有1个映射器正在执行。哪里出错了?

2)如果我错了,如何计算容器的数量?

3)纱线仅显示容器数量,我如何知道我正在运行的应用程序的映射器和缩减器数量?

我已经阅读了但仍然无法理解这些事情,因为我现在是Yarn和Hadoop。请帮忙。

0 个答案:

没有答案