在hadoop中调试datanode

时间:2014-10-16 13:52:43

标签: hadoop

我在3台机器上安装了hadoop 1.2.1。当退役一台机器时,它工作正常。 但是在调试新的datanode时,它会关闭我的其他2个数据节点。

设置如下:

  • 192.168.1.4 - Namenode,SecondaryNameNode,DataNode,Tasktracker,Jobtracker
  • 192.168.1.5 - DataNode,Tasktracker
  • 192.168.1.6 - DataNode,Tasktracker

我已在所有计算机上将复制因子设置为2.

我遵循的步骤来调试datanode:

首先使用启动脚本启动我的群集192.168.1.4和192.168.1.5。 使用192.168.1.6更新了我的包含文件

  

bin / hadoop dfsadmin -refreshNodes

     

bin / hadoop mradmin -refreshNodes

更新了奴隶文件。

  

bin / hadoop dfsadmin -report - 这显示我的初始运行datanode为dead,并且包含的​​datanode处于活动状态。

请告诉我这个过程中的错误以及为什么要关闭其他数据节点。

2 个答案:

答案 0 :(得分:0)

我不确定可能发生什么问题,我试过调试,它工作正常,但你可以做一件事 分别在死数据节点上执行以下命令

1)./ bin / hadoop-daemon.sh启动datanode 2)./ bin / hadoop-daemon.sh启动tasktracker

之后,在namenode上执行以下命令 1)bin / hadoop dfsadmin -report

答案 1 :(得分:-1)

最初用于Hadoop dfsadmin -report作为调试的一部分添加的节点显示为死节点

完成以下步骤以克服此问题 是的答案

1) Go to Datanodes that you added as a part of commissioning
2) Execute the commands if it is Hadoop 2.x 
   /usr/local/hadoop-2.7.2/sbin$ hadoop-daemon.sh start datanode
   /usr/local/hadoop-2.7.2/sbin$ yarn-daemon.sh start nodemanger
3) The NameNode URI Its showing the added node as live node