例如,如果Hadoop集群由2个DataNode组成且HDFS复制因子设置为默认值3,那么复制文件的默认行为是什么?
据我所知,似乎HDFS基于机架识别,但对于这样的情况,有谁知道它是如何确定的?
答案 0 :(得分:4)
它会认为这些块未被重复,它会继续抱怨,并会永久地尝试将它们带到预期的复制因子。
HDFS系统有一个参数(复制因子 - 默认为3),它告诉namenode每个块应该如何复制(在默认情况下,根据给定的副本,每个块应该在整个群集中复制3次安置策略)。在系统设法按复制因子指定的次数复制每个块之前,它会继续尝试这样做。