Hadoop仅使用主节点来处理数据

时间:2014-09-20 04:41:13

标签: hadoop mapreduce

我已经设置了一个Hadoop 2.5集群,其中包含1个主节点(namenode和secondary namenode和datanode)以及2个从节点(datanode)。所有这些机器都使用Linux CentOS 7 - 64bit。当我运行MapReduce程序(wordcount)时,我只能看到主节点正在使用额外的CPU和RAM。从节点没有做任何事情。

我已经检查了所有namenode的日志,并且从属节点上没有任何错误。资源管理器正在运行,所有从属节点都可以看到资源管理器。 Datanode正在分布式数据存储方面工作,但我看不到任何分布式数据处理的迹象。我是否必须以其他方式配置xml配置文件,以便在运行MapReduce作业时所有计算机都将处理数据?

谢谢

1 个答案:

答案 0 :(得分:1)

确保您正在对Masternode网络文件中的daanodes的IP地址进行监控。此外,群集中的每个节点都应包含其他计算机的IP地址。 除此之外,检查包含文件是否包含相关的数据节点条目。