HDFS有哪些类型的故障？

Question

HDFS有哪些类型的故障？ 当NameNode，Secondary NameNode和DataNode销毁时，会发生什么？

Answer 1

主要有三种类型的故障是NameNode故障，DataNode故障和网络分区。

1. HighStock
2. NameNode failures
3. DataNode

并且对于所有失败案例，请尝试sudo jps。您将获得进程ID和进程名称。然后做sudo kill -9 {process-id}。 然后尝试在hdfs或pig / hive shell中读/写数据。

Answer 2

Namenode失败：

Namenode is no more a single point of failure since the launch of Hadoop 2.x version.

从文档link开始，首选HDFSHighAvailabilityWithQJM（Quorum Journal Manager）。我在以下问题的答案中详细解释了这个过程

How does Hadoop Namenode failover process works?

Hadoop namenode : Single point of failure

次要NameNode失败：

Secondary Namenode is replaced with StandBy Namenode is Hadoop 2.x.

由于Primary Namenode可用，因此失败并不重要

Datanode失败：

If your replication factor is more than 1，datanode失败不会因为其他Datanode中的文件块可用而受到损害。

在这个SE问题中查看我的答案：

Hadoop file write

来自documentation页面：

  

每个DataNode定期向NameNode发送Heartbeat消息。网络分区可能导致DataNode的子集失去与NameNode的连接。 NameNode通过缺少Heartbeat消息来检测此情况。 NameNode将没有最近Heartbeats的DataNodes标记为已死，并且不会将任何新的IO请求转发给它们。注册到死DataNode的任何数据都不再可用于HDFS。

     

DataNode死亡可能导致某些块的复制因子低于其指定值。 NameNode不断跟踪需要复制的块，并在必要时启动复制。由于许多原因，可能会出现重新复制的必要性：DataNode可能变得不可用，副本可能已损坏，DataNode上的硬盘可能会失败，或者文件的复制因子可能会增加。