Question

我阅读了一些参考文献，但我仍然无法清楚地知道如何确定可用于在HDFS系统上存储文件的基本总大小。

如果我有运行HDFS服务的1TB磁盘，dfs部分会自然地“增长”，因为我向其添加文件，或者默认情况下是否有部分磁盘分配给DFS？

Answer 1

是的，随着文件的添加，HDFS的磁盘使用量增长。默认情况下，Datanodes将尝试使用其存储目录dfs.datanode.data.dir中的所有可用空间。

Datanode的配置容量

Total Storage Capacity - Reserved Storage

默认情况下，

Reserved Storage 0B 。如果您希望在存储上保留一些空间以用于非HDFS，请在数据节点的hdfs-site.xml中添加此属性

<property>
  <name>dfs.datanode.du.reserved</name>
  <value>107374182400</value> <!-- 100 GB reserved -->
  <description>Reserved space in bytes per volume. Always leave this much space free for non dfs use</description>
</property>

HDFS空间分配（尺寸/使用/可用）

1 个答案: