Question

我正在尝试获取S3存储桶中多个对象的大小。我经历了以下问题

https://serverfault.com/questions/84815/how-can-i-get-the-size-of-an-amazon-s3-bucket

aws s3 ls-汇总-人类可读-递归s3：// bucket-name / directory

使用以上内容，我们可以获得S3存储桶的大小。就我而言，我需要获取按特定模式排序的多个目录的大小。

s3://bucket-name/ABC/2016/01/22/file11.csv
s3://bucket-name/ABC/2016/01/23/file1.csv
s3://bucket-name/ABC/2016/01/24/file23.csv
s3://bucket-name/DEF/2016/01/22/file45.csv
s3://bucket-name/DEF/2016/01/23/file76.csv
s3://bucket-name/DEF/2016/01/24/file32.csv
s3://bucket-name/GHI/2016/01/22/file39.csv
s3://bucket-name/GHI/2016/01/23/file78.csv
s3://bucket-name/GHI/2016/01/24/file59.csv

我具有上述的S3存储桶结构，每天我将在其中获取文件，我需要使用Shell脚本找出批处理的大小。

即

s3://bucket-name/ABC/2016/01/22/file11.csv
s3://bucket-name/DEF/2016/01/22/file45.csv
s3://bucket-name/GHI/2016/01/22/file39.csv

下面是我尝试过的

files=$(aws --profile default s3 ls --summarize --human-readable --recursive s3://$source_bucket/$source_folder/)
for file in files
    aws --profile default s3 cp s3://$source_bucket/$source_folder/$year/$month/$day/$file

我将源文件夹，年，月和日作为脚本的参数传递给该日期，我需要获取批处理大小。

将文件放到本地后，我需要在下一次迭代之前在另一个源文件夹上存储文件的大小。

请提出任何建议

带有嵌套目录的Amazon S3存储桶大小

0 个答案: