hadoop集群仅使用主节点或所有节点

Question

我创建了一个 4节点hadoop集群。我启动所有datanode，namenode资源管理器等。

要查找我的所有节点是否正常工作，我尝试了以下程序：

步骤1.当所有节点都处于活动状态时，我运行我的程序 第2步。当只有主人活跃时，我运行我的程序。

两种情况下的完成时间几乎相同。

所以，我想知道是否还有其他方法可以让我知道在运行程序时实际使用了多少个节点。

Answer 1

在聊天中讨论。问题是由不正确的Hadoop安装引起的，在这两种情况下都是使用LocalJobRunner在本地启动作业。

作为建议：

1. 使用Ambari（http://ambari.apache.org/）
安装Hadoop
2. 将平台更改为CentOS 6.4 +
3. 使用Oracle JDK 7
4. 耐心使用主机名和防火墙
5. 熟悉用于运行状况诊断和默认Hadoop WebUI的群集命令