我正在尝试将一些文件列表从S3存储桶复制到本地或hdfs.My
存储桶中有220000个以上的对象,我只想将以abc2018-
开头的文件复制到本地系统。 abc2018-
中的文件列表超过20k。
我只是获取了一个样本文件,并尝试使用以下命令将其复制,但成功了:
s3cmd get "s3://bucketname/abc2018-01-02.txt" ~/
如果我要将所有带有abc2018-的文件复制到主文件夹,则没有选择。 我需要编写任何脚本还是可以使用s3cmd本身来实现?
答案 0 :(得分:0)
您可以尝试使用aws cli:
aws s3 cp s3://bucketname/ ~/ --exclude "*" --include "abc2018-*"
此命令仅复制所需的图案。 享受吧!