停用数据节点时重新平衡

Question

我目前正在停用HDFS集群中的datanode。我注意到某些数据节点非常满，因此我希望重新平衡它们。

在停用数据节点的同时执行HDFS群集的重新平衡会发生什么？这是安全的操作吗？

Answer 1

您不需要执行平衡操作。如果您的复制因子大于2，则说明您已经在其他节点上复制了数据。

平衡是在不相等的分区中复制数据时使用的概念。假设您的数据在一个节点上具有70％的复制，在另一节点上具有30％的复制。然后可能是复制不足的块或复制过度的块。为了保持这一点，我们使用了平衡概念。

谈论停用您的Datanode，那么这始终是安全的操作。因为您的Namenode能够复制群集中其他Datanode上的数据（这取决于已停用的Datanode）。您不需要自己平衡数据。 Namenode会照顾它。

PS：-只要确保您的其他Datanode有足够的空间将所有数据复制到它们上即可。