Hadoop DistCp使用通配符？

Question

是否可以使用DistCp仅复制与特定模式匹配的文件？ 例如。对于/ foo我只想要* .log文件。

Answer 1

我意识到这是一个老线程。但我自己对这个问题的答案很感兴趣 - 而且dk89在2013年也再次提出过要求。所以我们走了：

distcp不支持通配符。你最接近的是：

找到要复制的文件（源），然后使用grep过滤，使用awk格式化hdfs，并将结果输出到“input-files”列表：

hadoop dfs -lsr hdfs://localhost:9000/path/to/source/dir/ 
  | grep -e webapp.log.3. | awk '{print "hdfs\://localhost\:9000/" $8'}   > input-files.txt

将输入文件列表放入hdfs

hadoop dfs -put input-files.txt  .

创建目标目录

hadoop dfs -mkdir hdfs://localhost:9000/path/to/target/

使用输入文件列表运行distcp并指定目标hdfs目录：

hadoop distcp -i -f input-files.txt hdfs://localhost:9000/path/to/target/  

Answer 2

DistCp实际上只是一个常规的map-reduce作业：您可以使用与用于常规map-reduce作业的输入相同的globbing语法。通常，您可以使用foo/*.log，这应该足够了。你可以在这里试验hadoop fs -ls语句 - 如果globbing与fs -ls一起使用，那么if是否适用于DistCp（好吧，差不多，但差异相当微妙）。