Hadoop HA: - 使用新名称节点

时间:2016-06-02 06:30:58

标签: hadoop hdfs

我正在浏览Hadoop权威指南中的高可用性,下面不清楚,

  

要在这种情况下从失败的名称节点恢复,请使用管理员   使用其中一个文件系统元数据启动新的主名称节点   复制并配置datanode和客户端以使用这个新的   名称节点。新的namenode在

之前无法提供请求      

(i)将其名称空间图像加载到内存中,

     

(ii)重播其编辑日志,

     

(iii)从数据节点收到足够的阻止报告以保证安全   模式。

我的理解: -

最初,主名称节点失败,新名称节点已启动"其中一个文件系统元数据副本"。

以下是我的问题: -

a。)'文件系统元数据副本'是指NFS中的文件系统备份还是辅助名称中的复制fs元数据?如果不是,那还有其他的事情。

b。)启动新名称节点以代替失败的主名称节点的过程。

c。)如何在新名称节点中将命名空间映像加载到内存中。

d。)如何在新名称节点中重播编辑日志。

e。)新名称节点如何从数据节点接收块报告。

f。)hadoop中的安全模式是什么。

h。)安全模式在名称节点和datanode中有不同的含义。

i。)如何确保名称节点收到足够的阻止报告。

J。)如何确认datanode的左安全模式。

1 个答案:

答案 0 :(得分:0)

  

a。)'filesystem metadata replicas'是指NFS中的文件系统备份还是辅助名称中的复制fs元数据?如果不是,那还有其他的事情。

任何一个都很好,他们是一样的。事实上,你会找到

    -rw-r--r-- 1 root   root    5902401510  5月 25 11:25 fsimage_0000000004135660446
    -rw-r--r-- 1 root   root            62  5月 25 11:25 fsimage_0000000004135660446.md5
    -rw-r--r-- 1 root   root    5904535085  5月 25 13:06 fsimage_0000000004136678683
    -rw-r--r-- 1 root   root            62  5月 25 13:06 fsimage_0000000004136678683.md5
    -rw-r--r-- 1 root   root      37822049  5月 24 22:55 edits_0000000004125929293-0000000004126105088
    -rw-r--r-- 1 root   root       5821392  5月 24 23:01 edits_0000000004126105089-0000000004126140857

数字数字表示交易ID。最好使用ID最大的最新版本。它决定你的Namenode在什么时候记得。

  

b。)启动新名称节点以代替失败的主名称节点的过程。

确保在同一节点中启动它。如果出现了物理故障,您必须在另一台机器上启动它。确保新计算机具有原始主机名或IP地址。只要没有其他NameNode在运行,您就可以使用启动脚本正常启动namenode。

  

c。)如何在新名称节点中将命名空间映像加载到内存中。   d。)如何重播新名称节点中的日志。

Namenode进程将加载fsimage并自动重播编辑日志。

  

e。)新名称节点如何从数据节点接收块报告。

重复上述步骤,确保在同一节点中启动它。如果出现了物理故障,您必须在另一台机器上启动它。确保新计算机具有原始主机名或IP地址。如果没有,你必须在所有Datanode中更改Namenode地址,这很痛苦。

  

f。)hadoop中的安全模式是什么。

NameNode的Safemode本质上是HDFS集群的只读模式,它不允许对文件系统或块进行任何修改。它用于保证您的数据安全。

  

h。)安全模式在名称节点和datanode中有不同的含义   J.)如何确认datanode的左安全模式。

Datanode没有“安全模式”。

  

i。)如何确保名称节点收到足够的阻止报告。

只要不关闭数据节点,当Namenode再次处于活动状态时,所有数据节点都会向其发送阻止报告。