如何使用s3fs从S3存储桶挂载将文件和目录复制到EBS

Question

我在一个带有S3FS的EC2实例中将S3存储桶挂载为一个卷。我用PHP创建了一个目录结构，现在已超过20GB。

目前S3FS正在耗尽实例内存，上传速度非常慢，所以我想将所有文件移动到连接到同一实例的EBS。

我尝试过S3CMD，但是由于S3FS在存储桶中创建了与目录同名的零大小对象，因此存在一些不兼容性。

还尝试编写脚本以递归方式复制跳过那些零大小对象的结构。

没有工作。

有人试图这样做吗？在此先感谢您的帮助。

Answer 1

@hernangarcia不要让事情变得复杂，使用递归wget，wget -r后跟桶端点的url。您可以将所有内容下载到EBS卷。另外我的建议是不要在实例的根卷上存储所有那些20 GB的文件，而是将另一个卷附加到它，然后将所有这些文件存储在该额外的卷中，如果你有高IOPS卷，那么操作会更快。