替换hadoop名称节点和日志节点的步骤

时间:2015-04-20 01:50:45

标签: hadoop

设置:我们有3台机器:m1,m2和m3 以下是每台机器上的角色:

m1: namenode (active), zookeeper, hbase master, journalnode
m2: namenode (standby), zookeeper, hbase master, journalnode
m3: zookeeper, hbase master, journalnode

我们正在使用带有QJM的namenode HA设置

所有三台机器都需要更换新机器(带SSD): new_m1,new_m2和new_m3

new_m1: namenode (active), zookeeper, hbase master, journalnode
new_m2: namenode (standby), zookeeper, hbase master, journalnode
new_m3: zookeeper, hbase master, journalnode

替换将导致群集停机,但是一旦启用新的主节点,群集应该能够恢复其正常操作。

我需要帮助来详细了解使用新硬件替换日志节点和活动+备用名称节点所需的步骤,而不会丢失任何数据。

非常感谢最详细的一步一步回答,谢谢aton

没有hadoop版本升级,但这只是硬件的就地替换。

1 个答案:

答案 0 :(得分:1)

案例I:

如果您已在一个公共文件夹下安装了hadoop,hbase和zookeeper(带有temp,dfs和namenode目录),则可以轻松备份数据。从现在开始,我们将此文件夹称为主文件夹。就这样做:

<强> 1。在新的活动名称节点系统中创建主文件夹:

sudo mkdir -p /path/to/home/folder sudo chown -R hadoopuser:hadoopgroup /path/to/home/folder

<强> 2。复制主文件夹的所有内容(保留权限):

sudo scp -rp /path/to/home/folder/in/old/active/namenode hadoopuser@new-active-node-ip:/path/to/home/folder

3。备用名称节点从属节点重复这两个步骤。

  

注意:在编辑之前创建每个节点的 / etc / hosts 文件的备份。

4. 为了减少工作量,请在/etc/hosts文件中重命名与旧名称相同的新节点。 (如有必要,请为旧节点提供其他名称)

5. 启动新的namenode以检查它是否有效。

案例II:

如果您的hadoop temp,dfs,namenode和journal目录不属于您的主文件夹(即,您已将这些目录配置为与主文件夹不同),请执行以下操作:

<强> 1。确定目录位置:

core-site.xml hdfs-site.xml 中查找hadoop temp,dfs,namenode,journal目录的位置。

<强> 2。复制内容:

为每个目录的 CASE I 执行**步骤1 **和**步骤2 **以保留权限。

3。启动新的namenode以检查它是否有效。