Question

最近，我在Ubuntu上安装hadoop多节点集群，一切正常，namenode和辅助节点（其名称为HadoopMaster），所有从属都是2（HadoopDataNode1，HadoopDataNode2）

执行start-dfs.sh和start-yarn.sh脚本时的问题，所有从属节点都正在运行其正常作业＆＃34; datanode和Nodemanager＆＃34;，一切正常，但主节点HadoopMaster何时检查报告，我只得到一个datanode，它是MasterNode datanode，但我没有找到和其他datanode的DataNode ..所有日志文件看起来都不错，没有例外

dfsadmin -report

的结果

Configured Capacity: 7791403008 (7.26 GB)
Present Capacity: 1433530368 (1.34 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Live datanodes:
Name: 127.0.0.1:50010 (localhost)
Hostname: HadoopMaster
Decommission Status : Normal
Configured Capacity: 7791403008 (7.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6357872640 (5.92 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used%: 0.00%
DFS Remaining%: 18.40%

我在datanode的日志中发现所有数据节点都试图连接到HadoopMaster：9000并且无法连接

2014-09-16 04:06:32,721 INFO org.apache.hadoop.ipc.Client: 
Retrying connect to server:        
HadoopMaster/192.168.16.80:9000. Already tried 5 time(s); 
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

但是Namenode在HadoopMaster namenode

上的JPS效果很好

21655 SecondaryNameNode
22467 Jps
21514 DataNode
21376 NameNode
21809 ResourceManager

我检查了HDFS的端口是否打开

tcp        0      0 HadoopMaster:9000       *:*                     LISTEN    21376/java

** HadoopMaster vi SSH登录无密码

可访问的所有datanode

任何建议请...

Answer 1

似乎存在一些配置问题：来自master的Jps不应该显示datanode正在运行。

如果您已经专门添加了主节点以在主节点的从属中充当从属节点，那么在jps中它也应该显示节点管理器。

请交叉检查以下文件：

/etc/hosts/
core-site.xml
hdfs-site.xml
yarn-site.xml files on all nodes and slaves file on master node.

从站datanode不在主节点存储中

1 个答案: