在Hadoop中，复制因子与集群中节点数之间的关系是什么？

Question

例如，如果复制因子为3且群集中有2个节点。那么将创建多少个副本？他们将如何安置？

Answer 1

复制因子大于可用的数据节点会破坏复制的目的。副本应该是明确的＆amp;独特地放置在datanodes上。如果一个datanode包含同一块的多个副本（理论上），则它不提供额外的容错，因为如果该节点发生故障，则两个副本都将丢失。因此每个节点只有一个副本就足够了。

并回答你的问题：

  

  

1. 复制因素与群集中数据节点数量之间的关系是什么？    Ans。最大复制系数应小于或等于#datanodes

  

2. 如果复制因子为3且群集中有2个节点。然后会创建多少个副本？
      Ans。据我所知，只创建了2个副本。 （尝试使用hdfs dfs -setrep选项）

  

3. 他们将如何安置？    Ans。每个datanode将放置一个。

  

因此，当您提供的复制因子超过#datanodes时，您尝试创建的额外副本将在hdfs fsck输出中被称为缺少副本。此外，相应的块将被视为 Under-Replicated Blocks