HDFS块存储

Question

• 1）我有一个带有2个数据节点的hdp集群。但是复制因素 hdfs的值为3。在这种情况下，第三个副本存储在哪里？
• 2）如果我在hdfs中上传文件（复制因子为3），
  在hdfs中文件大小不应增加3倍（因为有2
  多余的副本）
• 3）有没有一种方法可以检查哪个数据块 驻留在哪个datanode（我知道元数据信息会
  在name节点中，但是有一条命令可以向我提供该信息） ？

Answer 1

1）因为NameNode不允许DataNode具有同一块的多个副本，所以创建的副本的最大数量是当时DataNode的总数。

参考：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Simple_Coherency_Model（副本位置：第一步）

这意味着如果您有2个数据节点，则复制因子不能为3。

2）您的文件大小将相同。但是，使用三个副本数会增加存储开销。我的意思是如果您的文件是2 GB。您正在使用3个副本保留文件。这意味着您要为文件分配6 GB的存储空间（原始文件2 GB，副本2 + 2 GB）。