我在aws上设置了一个2节点的hadoop集群,其中namenode和jobtracker在master上运行,tasktracker和datanode都是master和slave。当我启动dfs时,它告诉我它启动了namenode,两个节点上的datanode和辅助namenode。当我开始map reduce时,它还告诉我jobtracker已经启动,以及两个节点上的tasktracker。我开始运行一个示例以确保它正常工作,但它说在namenode Web界面上只使用了一个tasktracker。我检查了日志和僵尸程序,奴隶上的datanode和tasktracker节点日志有一些类似
的内容2013-08-08 21:31:04,196 INFO org.apache.hadoop.ipc.RPC: Server at ip-10-xxx-xxx-xxx/10.xxx.xxx.xxx:9000 not available yet, Zzzzz...
2013-08-08 21:31:06,202 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: ip-10-xxx-xxx-xxx/10.xxx.xxx.xxx:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
namenode在端口9000上运行,这是在datanode日志中。在tasktracker日志中,它有相同的东西,除了它是端口9001; jobtracker正在运行的地方。我能够在apache wiki上找到关于此错误http://wiki.apache.org/hadoop/ServerNotAvailable的内容。 但我找不到他们说的任何可能的问题。由于我在aws上运行两个节点,我还确保为两个端口授予了权限。
总结。
从属节点上的tasktracker和datanode将不会连接到主节点
我知道IP地址是对的,我已多次检查
我可以将两个实例中的ssh无法传递给对方
端口被授予aws
的权限根据日志,namenode和jobtracker都运行良好
我把主服务器和服务器的ips放在配置文件中,而不是主机名,因为当我这样做并相应地编辑/ etc / hosts时,它无法解析它
有人知道其他任何可能的原因吗?