我正在寻找将〜100,000个图像从服务器传输到我的Amazon S3存储桶的最快方法。
这是循环每个图像并执行单独的PUT请求吗？我希望有一个更快的方法，但没有找到任何东西。
答案 0 :(得分：6)
也许试试蜗牛邮件？
答案 1 :(得分：2)
s3funnel。我上周用这个将大约3,000,000张图像传输到S3。它是多线程的，因此往往非常快。我测试了许多商业和开源工具，s3funnel是迄今为止最好的IMO。
答案 2 :(得分：0)
不熟悉S3，但如果没有批量上传工具，您可以通过在多个并行进程中循环覆盖图像来加快速度，直到最大化网络连接。
答案 3 :(得分：0)
您可以尝试使用Image Uploader批量上传控件。或者，如果这是一次性任务，我考虑使用一些Amazon sample。
无论如何，如果你想使用PUT / POST请求上传，每个请求一个文件 - 是亚马逊的API限制，在我看来没有什么可做的。
答案 4 :(得分：0)
我们（CloudOpt）构建了一个优化数据传输到Amazon S3的解决方案，称为CloudOptimizer。它使用对称重复数据删除，压缩和一系列其他技术。看看，让我知道你的想法。我很想得到您的反馈。