在hadoop中创建了2个节点群集。我能够连接到master并运行MR作业,但无法连接到slave就可以了吗?所以我明白namenode没有在slave中运行所以完全启动了节点,所以当我做jps
时我看到了
2287 TaskTracker
2149 JobTracker
1938 DataNode
2085 SecondaryNameNode
2349 Jps
1788 NameNode
现在我可以连接到奴隶并像我一样工作,但是有2个名字存在然后它听起来有点可疑,但我可能是错的。请建议。
提前致谢
答案 0 :(得分:1)
在谈论小型实验群集时,您应该只有一个名称节点(主节点)。您可以拥有任意数量的数据节点 - 主节点也可以是其中之一。您必须能够使用SSH在没有密码的情况下从主服务器连接到从服务器(datanode)。
运行MR作业时,应检查namenode Web界面以查看作业的分发方式。如果使用了所有节点(至少对于某些作业),则设置正在运行。