Datanode其中一个磁盘卷故障

Question

我的hadoop集群datanode中的一个磁盘已变为只读。我不确定是什么原因引起了这个问题。 从datanode中删除此卷会导致数据丢失吗？ 如果我要面对数据丢失，如何处理？

Answer 1

如果您的hadoop群集的复制因子大于1（默认情况下，多节点群集为3），则必须在多个数据节点上复制您的数据。您可以在hdfs-site.xml中检查复制因子值（dfs.replication）。

现在，如果从群集中删除此只读数据节点并且复制因子大于1，那么您将不会遇到任何数据丢失。因为您的群集将在其他datanode上具有相应的副本。为了平衡副本，未完成的块将由hdfs自动处理，随后hdfs将保持稳定。