关闭电源后重新启动hadoop HA群集节点后,名称节点失败

时间:2019-05-30 16:14:30

标签: hadoop apache-zookeeper failover

我设置了具有2个名称节点和日记节点且具有自动故障转移控制功能的HA hadoop集群。以namenode格式启动时,启动效果很好。但是在重新启动群集时失败。我还尝试按顺序启动集群。

  1. 启动所有日记节点
  2. 启动活动名称节点
  3. 启动备用节点(使用引导程序)和启动名称节点
  4. 在所有节点上启动zkserver
  5. 启动所有数据节点。
  6. 在活动节点上格式化zkfc,然后启动
  7. 在备用节点上格式化zkfc,然后启动。

它可以正常工作,直到第5阶段并且所有节点都启动(两个名称节点都已启动并处于备用状态)。当我启动zkfc时,名称节点失败并得到未格式化的错误日志节点。

(在此步骤之前,我通过格式化活动名称节点成功启动了安装程序,第二次启动时,在步骤2中删除了名称节点格式):

关机并重新启动后如何启动设置?

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/data/nameNode</value>
<final>true</final>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/data/dataNode</value>
<final>true</final>
</property>

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

<property>
<name>dfs.nameservices</name>
<value>ha_cluster</value>
</property>

<property>
 <name>dfs.ha.namenodes.ha_cluster</name>
 <value>sajan,sajan2</value>
 </property>

 <property>
 <name>dfs.namenode.rpc-address.ha_cluster.sajan</name>
 <value>192.168.5.249:9000</value>
 </property>

 <property>
 <name>dfs.namenode.rpc-address.ha_cluster.sajan2</name>
 <value>192.168.5.248:9000</value>
 </property>

 <property>
 <name>dfs.namenode.http-address.ha_cluster.sajan</name>
 <value>192.168.5.249:50070</value>
 </property>

 <property>
 <name>dfs.namenode.http-address.ha_cluster.sajan2</name>
 <value>192.168.5.248:50070</value>
 </property>

 <property>
 <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://192.168.5.249:8485;192.168.5.248:8485;192.168.5.250:8485/ha_cluster</value>
 </property>
 <property>
 <name>dfs.client.failover.proxy.provider.ha_cluster</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <property>
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
 </property>
 <property>
 <name>ha.zookeeper.quorum</name>
 <value>192.168.5.249:2181,192.168.5.248:2181,192.168.5.250:2181,192.168.5.251:2181,192.168.5.252:2181,192.168.5.253:2181</value>
 </property>
 <property>
 <name>dfs.ha.fencing.methods</name>
 <value>sshfence</value>
 </property>
 <property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/home/hadoop/.ssh/id_rsa</value>
 </property>

</configuration>

1 个答案:

答案 0 :(得分:0)

如果要停止服务,请使用以下命令。我花了2个工作日才能解决这个问题。

  1. 停止所有名称节点。
  2. 停止所有日记帐节点。
  3. 停止所有数据节点。
  4. 停止故障转移服务。
  5. 停止zkserver