Question

我想将某个模式的文件从hdfs中复制到同一个hdfs集群中的另一个位置。 dfs shell似乎无法处理这个：

hadoop dfs -cp /tables/weblog/server=jeckle/webapp.log.1* /tables/tinylog/server=jeckle/

没有返回错误：还没有复制文件。

Answer 1

您需要在包含通配符的路径中使用双引号，如下所示：

hdfs fs -cp "/path/to/foo*" /path/to/bar/

Answer 2

首先，支持带通配符的HDFS副本。其次，不推荐使用hadoop dfs，您最好使用hadoop fs或hdfs dfs。如果您确定操作不成功（虽然看起来成功），您可以查看namenode的日志文件以查看错误。

Answer 3

有趣。这是我在运行Hadoop 0.18.0的本地VM中获得的。你用的是什么版本？我也可以试试1.2.1

hadoop-user@hadoop-desk:~$ hadoop fs -ls /user/hadoop-user/testcopy
hadoop-user@hadoop-desk:~$ hadoop dfs -cp /user/hadoop-user/input/*.txt /user/hadoop-user/testcopy/
hadoop-user@hadoop-desk:~$ hadoop fs -ls /user/hadoop-user/testcopy
Found 2 items
-rw-r--r--   1 hadoop-user supergroup         79 2014-01-06 04:35 /user/hadoop-user/testcopy/HelloWorld.txt
-rw-r--r--   1 hadoop-user supergroup        140 2014-01-06 04:35 /user/hadoop-user/testcopy/SampleData.txt

Answer 4

这些对我有用：

~]$ hadoop fs -cp -f /user/cloudera/Dec_17_2017/cric* /user/cloudera/Dec_17_2017/Dec_18 
~]$ hadoop fs -cp -f "/user/cloudera/Dec_17_2017/cric*" /user/cloudera/Dec_17_2017/Dec_18

我认为更好的方法是不要给出双/单（＆＃34; /＆＃39;）引号。

Answer 5

如果有人想从用户所在终端的当前目录中复制文件和文件夹，则

hdfs dfs -put ./

带有通配符的Hadoop HDFS副本？

5 个答案: