Shell命令将文件从HDFS传输到Hadoop 2.6.9中的本地文件系统

Question

我是Hadoop的新手。是否有bash命令将文件从Hadoop分布式文件系统传输到hadoop节点上的标准文件系统。

我正在使用Hadoop 2.6.0

我看到另一个类似的问题，询问如何在Java中做同样的事情：Copying files from HDFS to local file system with JAVA

我们可以用一个简单的shell命令来代替它（它在一个属于hadoop集群的节点上运行）吗？

Answer 1

hdfs dfs -get /hdfs/path /local/path

hdfs dfs -put /local/path /hdfs/path

Answer 2

如果要将数据从HDFS下拉到本地目录，则需要使用-get或-copyToLocal切换到hadoop fs命令。

hadoop fs -copyToLocal hdfs：// path localpath

只需在shell脚本中调用该命令即可。您可以执行以下操作。

表示awk '/.csv/ {print $2}' /user/hadoop/TempFiles/CLNewFiles.txt;

中的行

DO

hadoop fs copyToLocal / user / hadoop / TempFiles / $ line yourlocalpath

回声“$ line文件正在从hadoop下载”

完成