有没有办法限制hadoop中我可以cp
的文件数量?
例如,在我的目标目录/data/d_20151111-2350/
中包含8个文件。这些文件中包含随机数,因此我无法使用正则表达式来选择一对。我想知道是否有某些内容
hadoop fs -cp /data/d_20151111-2350/* /dest/location/ LIMIT 2
LIMIT 2
表示2个文件。
答案 0 :(得分:1)
没有这样的参数
另见:
https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#cp
解决这个问题的最好方法是编写python或shell脚本 -