使用copyToLocal从HDFS复制的路径

Question

我正在尝试从HDFS复制 当我跑步时，没有任何反应。

/dev/fd63

我假设我应该为HDFS文件包含更长的路径？ hadoop fs -copyToLocal out1 ~/datatemp 是存储在HDFS上的目录，out1是本地磁盘上的目标目录。 我做得对吗？为什么~/datatemp没有出现？我如何知道~/datatemp

的完整路径

我也试过

out1

Answer 1

将整个out1 HDFS目录复制到本地磁盘：

hadoop fs -copyToLocal /hdfs/path/to/out1 ~/datatemp

要复制out1 HDFS目录中的文件，请说file1.txt：

hadoop fs -copyToLocal /hdfs/path/to/out1/file1.txt ~/datatemp

复制out1 HDFS目录中的所有文件：

hadoop fs -copyToLocal /hdfs/path/to/out1/* ~/datatemp

要查找HDFS上out1目录的位置，您可以进行列表和搜索：

hadoop fs -ls -R / | grep out1

Answer 2

对于使用不同版本Hadoop的用户，可以使用hdfs dfs。

像这样：

hdfs dfs -get hdfs:/path/to/hdfs/directory /home/local/directory