用于不同磁盘大小节点的HDFS数据写入过程

Question

我们有10个节点HDFS（Hadoop - 2.6，cloudera - 5.8）群集，4个磁盘大小 - 10 TB和6个磁盘大小节点 - 3TB。在这种情况下，磁盘在小型磁盘节点上不断变满，但磁盘在高磁盘大小的节点上是免费的。

我试着理解，namenode如何将数据/块写入不同的磁盘大小节点。是否等分或写入一定比例的数据。

Answer 1

您应该查看dfs.datanode.fsdataset.volume.choosing.policy。默认情况下，此设置为round-robin，但由于您具有非对称磁盘设置，因此应将其更改为available space。

您还可以使用其他两个choosing属性微调磁盘使用情况。

有关详细信息，请参阅：

https://www.cloudera.com/documentation/enterprise/5-8-x/topics/admin_dn_storage_balancing.html