我正在使用Hadoop 2.9.0和Yarn。我的群集有4个节点(3个从属节点,1个主节点和从节点),每个节点都有
所以,我的集群完全拥有32Gb RAM和32vCores。
当我运行Hadoop流时,Yarn显示信息如下:
这是我的配置
我的输入文件是151Mb,我设置了dfs.blocksize = 4Mb
所以,我有几个问题:
1)从其他主题,我知道映射器的数量应该等于分裂的数量,即151/4 = 38。并且1个容器只包含1个映射器,因此应该有38个容器。但是从图片中只有1个容器,所以只有1个映射器正在执行。哪里出错了?
2)如果我错了,如何计算容器的数量?
3)纱线仅显示容器数量,我如何知道我正在运行的应用程序的映射器和缩减器数量?
我已经阅读了但仍然无法理解这些事情,因为我现在是Yarn和Hadoop。请帮忙。