使用hadoop命令复制多个目录

Question

我知道hadoop可以使用以下命令同时将多个目录复制到公共目标路径： -

hadoop fs -cp dir1 dir2 dir3 target

但我想知道我可以同时复制的目录或文件的最大数量是多少。

Answer 1

复制目录没有任何限制（您可以想到 Integer.MAX_VALUE ）。 HDFS中的文件，目录和块存储在 Namenode 内存中。

但是你使用的硬件有限制，扩展到硬件限制之外的是这里的问题。