我正在进行一些性能测试，用于上传大文件，订单为100MB +。我已经阅读过关于破坏和并行上传文件的帖子，但我只想弄清楚大文件的速度有多快。
当我上传并使用collectl逐秒观看性能时，我永远不会超过5MB /秒。另一方面，如果我将文件大小减少到50MB，我可以以20MB /秒的速度上传。
是否有一些基于文件大小的魔法？有没有办法让我的单个100MB文件上传速度更快？如果它是500MB甚至5G会发生什么？
嗯，我尝试了很多次，并且一直得到5MB /秒，现在当我再次尝试时，我已经超过15岁。这是因为我正在共享带宽吗？-mark
答案 0 :(得分：0)
在boto中肯定没有任何可以解释你所观察到的变化的魔法。这个等式中有很多变量，例如您自己与互联网的连接，您的提供商与骨干网的连接，整体网络流量，S3的负载等等，很难得到明确的答案。
总的来说，我发现通过使用分段上传和某种并发性，我可以获得最佳性能。 boto中的s3put命令行实用程序提供了一种执行此操作的方法示例。此外，如果您的S3存储桶位于特定区域，则在连接到该特定端点而非通用S3端点时，可能会看到更好的性能。