hadoop -cp限制文件数

时间:2016-02-24 18:54:33

标签: hadoop hdfs cp

有没有办法限制hadoop中我可以cp的文件数量?

例如,在我的目标目录/data/d_20151111-2350/中包含8个文件。这些文件中包含随机数,因此我无法使用正则表达式来选择一对。我想知道是否有某些内容

hadoop fs -cp /data/d_20151111-2350/* /dest/location/ LIMIT 2

LIMIT 2表示2个文件。

1 个答案:

答案 0 :(得分:1)

没有这样的参数

另见:

https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#cp

解决这个问题的最好方法是编写python或shell脚本 -