Question

我正在将文件从S3存储桶传输到EC2实例。

使用AWS CLI，我可以看到有问题的S3存储桶中有219个总大小约为43GB的文件

[IN]
    aws s3api list-objects --bucket resultsdata --output json --query "[sum(Contents[].Size), length(Contents[])]"

[OUT]

[
    43367899797,
    219
]

我一直在使用AWS S3 sync command将文件从存储桶传输到EC2计算机。

当我运行这个时，我成功地看到了桶中单个文件的下载。但是 - 似乎结束了。

Completed 706 of 1550 part(s) with 36 file(s) remaining

当我进入下载位置并执行文件计数时

ind /home/ec2-user -type f | wc -l

我得到198个文件而不是219个。

我多次运行AWS sync命令

aws s3 sync s3://MYBUCKETNAME .

我错过了什么？

修改

我已经排除了S3存储桶中的重复

编辑2

从ec2删除文件并尝试使用cp -

aws s3 cp s3://mybucket . --recursive

我得到了

Completed 4286 of 5084 part(s) with 34 file(s) remaining

但是 - 当我计算文件时，我又得到一个不同的数字，186。

所以同步给我198，cp给我186.两者都缺少S3桶中的219个文件。有人吗？！

Answer 1

我的设备上没有剩余空间了！

我希望在这种情况下会出现错误消息。新安装的卷已解决了该问题

AWS S3 Sync功能 - 缺少文件

1 个答案: