AWS S3 Bucket复制功能

Question

我们正试图通过AWS CLI将150万个文件推送到Bucket。我们首先尝试进行暂存，任务仍然在运行（我们遍历文件夹）。现在持续5天......

是否有更快的方法将多个文件从在线服务器推送到S3存储桶？

仅供参考：所有文件都在子文件夹中的特殊文件夹中，具体取决于名称。

Answer 1

下面你可以试试：

1. 启用S3传输加速Detail

2. 您可以使用AWS Import / Export

3. 使用AWS DirectConnect，它在AWS和您的场所之间建立专用的专用网络连接（1Gbps或10Gbps端口）。如果您在Direct Connect位置没有预先存在的红外线，也可以使用APN网络[2]。

Answer 2

首先获取所有文件的列表并将其划分为某种方法，例如文件名以1,2，...开头.9。您可以启动AWS CLI的单独流程来上传每个列表。您可能会遇到两个限制，一个是您的系统限制，另一个s3限制，大约每秒300次写入非常高，所以如果您有非常好的配置，您可以启动更多数量的AWS CLI以使其更快，如果文件很大，请确保启用分段上传。