Question

我设置了一个Hadoop集群（HDP 2.6），它包含3个节点，每个节点上有以下HDFS安装点。

的/ mnt / datadisk1
的/ mnt / datadisk2
的/ mnt / datadisk3

因此，我的/etc/fstab文件在三个节点中都是这样的：

/dev/mapper/centos-home /home                   xfs     defaults        0 0
...
# Here the HDFS Partitions:
/dev/sdb                /mnt/datadisk1          xfs     defaults        0 0
/dev/sdc                /mnt/datadisk2          xfs     defaults        0 0
/dev/sdd                /mnt/datadisk3          xfs     defaults        0 0

路径也在HDFS配置（Ambari）dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3中设置。

我现在的问题是：如果我要移除，会发生什么？来自一个的Hadoop节点的/mnt/datadisk3？是否会重新平衡HDFS并重新复制此分区上的数据？其他节点上的/mnt/datadisk3分区是否仍然可用？

每个分区的大小约为1 TB。我的HDFS之后会3*1TB + 3*1TB + 2*1TB = 8TB还是仅2*1TB + 2*1TB + 2*1TB = 6TB（因为所有datadisk3分区都会从HDFS中删除）？

Answer 1

如果您删除或不想提及
的路径
```
Related Products
```
他们不会与datadisk3建立任何联系，因此datadisk3数据不再可用。
是的，HDFS会重新平衡相应分区上的数据并将其复制到其他块中（基于您的复制因子）。
你不能使用存储在datadisk3中的数据（如果你使用的是调试和退役方法，那么只有你可以重复使用这些数据）

Answer 2

如果您有3个节点，并且已删除一个。这意味着还剩下2个节点，并且由于复制因子为2，每个节点都包含相同的数据，但是您的数据将在那里，但只有两个副本

删除DataNode目录时的HDFS行为

2 个答案: