在S3上更新数百万图像标题的最快方法

时间:2016-04-18 05:35:06

标签: amazon-s3 s3cmd

我有几百万个包含图像的文件夹

s3://test/1000/
s3://test/1001/
...

每个文件夹包含5-10张图片,例如s3://test/1000/1000-small.jpg。我正在尝试使用Cache-Control

为此处的所有图片设置s3cmd标头
s3cmd --recursive modify --remove-header=Expires --add-header='Cache-Control:max-age=31536000, public' s3://test/1000/

更新图像需要很长时间。喜欢 15k 个文件夹/天。所以我必须等待很长时间,除非我剪切包含所有文件夹列表的文件并在不同的机器上运行命令。

只是想问一下是否有更快的方法来运行相同的任务?

谢谢!

UPDATE!

我记得,最后我只获取了文件夹列表,然后将其拆分为多个文件,然后为每个文件运行多个s3cmd命令。最后需要几个小时才能完成。

1 个答案:

答案 0 :(得分:-1)

您是否尝试过官方的aws cli工具?

aws s3 sync /path s3://yourbucket/ --recursive --cache-control max-age=604800