将大数据集迁移到s3

Question

我尝试将2TB（数百万的）图像从本地服务器重命名并迁移到amazon s3上。我写了PHP使用aws库（在同一台本地机器上运行）发送它们，但我没有6个月它想完成。寻找更快地做到这一点的一些想法。

我有2个想法，但不确定它们会更好...... 1.使用一些与上传并行的已安装的s3解决方案（s3fs）（将它???） 2.将图像拉到ec2实例上，然后从那里发送到s3。我可以用ssh / FTP或http来拉它们。仍然可能需要手动并行它们？

任何帮助都将不胜感激。

Answer 1

另一种可能性是ship Amazon a hard drive与您的数据。

Answer 2

将您的10M +图像列表拆分为子集。将每个子集并行上传到S3。