设置:我们有3台机器:m1,m2和m3 以下是每台机器上的角色:
m1: namenode (active), zookeeper, hbase master, journalnode
m2: namenode (standby), zookeeper, hbase master, journalnode
m3: zookeeper, hbase master, journalnode
我们正在使用带有QJM的namenode HA设置
所有三台机器都需要更换新机器(带SSD): new_m1,new_m2和new_m3
new_m1: namenode (active), zookeeper, hbase master, journalnode
new_m2: namenode (standby), zookeeper, hbase master, journalnode
new_m3: zookeeper, hbase master, journalnode
替换将导致群集停机,但是一旦启用新的主节点,群集应该能够恢复其正常操作。
我需要帮助来详细了解使用新硬件替换日志节点和活动+备用名称节点所需的步骤,而不会丢失任何数据。
非常感谢最详细的一步一步回答,谢谢aton
没有hadoop版本升级,但这只是硬件的就地替换。
答案 0 :(得分:1)
案例I:
如果您已在一个公共文件夹下安装了hadoop,hbase和zookeeper(带有temp,dfs和namenode目录),则可以轻松备份数据。从现在开始,我们将此文件夹称为主文件夹。就这样做:
<强> 1。在新的活动名称节点系统中创建主文件夹:
sudo mkdir -p /path/to/home/folder
sudo chown -R hadoopuser:hadoopgroup /path/to/home/folder
<强> 2。复制主文件夹的所有内容(保留权限):
sudo scp -rp /path/to/home/folder/in/old/active/namenode hadoopuser@new-active-node-ip:/path/to/home/folder
3。对备用名称节点和从属节点重复这两个步骤。
注意:在编辑之前创建每个节点的 / etc / hosts 文件的备份。
4. 为了减少工作量,请在/etc/hosts
文件中重命名与旧名称相同的新节点。 (如有必要,请为旧节点提供其他名称)
5. 启动新的namenode以检查它是否有效。
案例II:
如果您的hadoop temp,dfs,namenode和journal目录不属于您的主文件夹(即,您已将这些目录配置为与主文件夹不同),请执行以下操作:
<强> 1。确定目录位置:
在 core-site.xml 和 hdfs-site.xml 中查找hadoop temp,dfs,namenode,journal目录的位置。
<强> 2。复制内容:
为每个目录的 CASE I 执行**步骤1 **和**步骤2 **以保留权限。
3。启动新的namenode以检查它是否有效。