用于将目录从hdfs复制到本地的Shell脚本

Question

我正在寻找一个shell脚本，它应该将目录（包含文件）从HDFS复制到本地系统。

Answer 1

我认为编写一个完整的脚本是没有意义的，只需要将一个命令写入终端即可。 与

hadoop fs -ls /myDir/path

您可以验证要复制和写入的目录的名称和路径

hadoop fs -get /myDir/path

将文件导入本地。您还可以通过

指定目标目录

hadoop fs -get /myDir/path /myLocal/destDir

它将目录（带子目录）复制到工作目录或指定目录。您也可以通过文件（dir by dir）获取

hadoop fs -get /myDir/path/* 

或一个命令中的特定目录或文件

hadoop fs -get /myDir/path/dir1 /myDir/path/dir2 .

到您的目录。我在我的Hadoop虚拟机上尝试了它，它工作正常。