我们可以拆分Big HDFS文件夹吗？

Question

我有一个大小约为570 TB的hdfs文件夹，有多个子文件夹，我想拆分一个大约530 TB的子文件夹。

Answer 1

您可以使用hadoop fs -mv（移动）命令来实现相同的目标。

例如我们假设您有以下文件夹结构：

/tmp/1GB/
/tmp/2GB/
/tmp/3GB/

现在，您要从/2GB/拆分/tmp/并将其移至/（根文件夹）下。

您所要做的就是：

hadoop fs -mv /tmp/2GB /

现在文件夹结构将是：

/2GB/
/tmp/1GB/
/tmp/3GB/

此外，由于move只是一个元数据操作，因此执行它并不昂贵，而不是copy操作。