HDFS复制和复制

Question

HDFS何时发生过复制？由于复制因子在hdfs-site.xml中设置，因此复制由Hadoop框架负责。

Answer 1

关于复制内容： 当集群中的一个或多个Datanode因某些故障而停机并且永不返回时，就会发生这种情况。在这种情况下，存储在那些向下节点上的块的预期复制因子会减少。

关于过度复制： 当一个或多个Datanode出现故障但一段时间后再返回时，会再次发生这种情况。对于那么短的停机时间，Namenode发现某些块未被复制并开始复制未复制的块以使块计数正常。如果经过一段时间后，那些下来的Datanodes再次重新启动，那么将会有比预期更多的块副本。