为什么在Web UI上使用的数据节点存储在Web UI上会随着时间的推移波动？

Question

今天我将数据加载到我的Hadoop集群中，我注意到在Web UI（http://hadoopmaster:50070/dfshealth.html#tab-datanode）上显示的Hadoop中数据节点的使用量随着时间的推移而波动。这意味着，即使数据已连续加载到群集中，但“已使用”也是如此。 Web UI上的列有时会急剧增加，但有时会急剧下降。

为什么会这样？

Answer 1

1. 具有复制因子的文件＆gt; 1不会立即复制，并需要一段时间来建立目标复制。
2. 处理过程中，您可能会暂时使用许多较小的文件。但是，即使文件内容很小，它们仍可能占用设置块大小的大量空间。块大小通常设置为相当高的值，从而为较小的文件提供更多开销。随着这些较小的文件被清理，您将看到使用量急剧下降。
3. 块池可能会缩短，因为它会长时间不使用。同样，块的大小可能相当大。