如何将本地文件夹的内容与Amazon S3进行比较?

时间:2015-09-14 09:37:46

标签: shell amazon-web-services amazon-s3

我创建了一个脚本来上传S3存储桶上的文件,我收到了超时错误,因此我不确定所有文件是否都在存储桶中。我已经创建了另一个用于检查差异的函数,但由于本地文件夹中的列表,它似乎无法工作:

  • 如果我查找herefind $FOLDER -type f | cut -d/ -f2- | sort这样的查找,我会得到整条路径,例如/home/sop/path/to/folder/...。似乎cut -d/ -f2-什么也没做......

  • 如果我执行ls -LR我无法获取列表,因为无法将其与aws s3api list-objects ...结果进行比较

1 个答案:

答案 0 :(得分:1)

AWS Command-Line Interface (CLI)有一个有用的aws s3 sync命令,可以将文件从本地目录复制到Amazon S3存储桶(反之亦然,或者在存储桶之间)。

它只会复制新的/已更改的文件,因此这是确保文件上传的好方法。

请参阅:AWS CLI S3 sync command documentation