数据节点故障后hdfs恢复

Question

我有一个4节点的hadoop集群，有2个主节点和2个数据节点。我在这个集群中有很多文件。我的一个数据节点崩溃了（意外地从aws控制台终止）。由于我有复制因子1，我认为这不会导致任何数据丢失。我添加了新节点并将其作为数据节点。但现在我的hdfs dfsadmin -report说了许多丢失的块。为什么是这样 ？我怎样才能从这里恢复？我不能做fsck -delete，因为这些文件对我很重要。当我尝试将distcp从这个集群转移到另一个新创建的集群时，我得到了块异常。添加新数据节点后是否需要执行任何步骤？

Answer 1

Hadoop上推荐的复制因子是3.如果值为1，则根本没有任何副本，因此您丢失了一些数据！