AWS CLI命令将特定文件从S3复制到本地或hdfs

时间:2018-08-20 17:35:58

标签: amazon-s3 aws-cli

我正在尝试将一些文件列表从S3存储桶复制到本地或hdfs.My存储桶中有220000个以上的对象,我只想将以abc2018-开头的文件复制到本地系统。 abc2018-中的文件列表超过20k。 我只是获取了一个样本文件,并尝试使用以下命令将其复制,但成功了:  s3cmd get "s3://bucketname/abc2018-01-02.txt" ~/

如果我要将所有带有abc2018-的文件复制到主文件夹,则没有选择。 我需要编写任何脚本还是可以使用s3cmd本身来实现?

1 个答案:

答案 0 :(得分:0)

您可以尝试使用aws cli:

aws s3 cp s3://bucketname/ ~/ --exclude "*" --include "abc2018-*"

此命令仅复制所需的图案。 享受吧!