Google Cloud Storage是否有隐藏的吞吐量限制(可能是每个存储桶?)?

时间:2018-12-14 14:14:22

标签: google-cloud-platform google-cloud-storage

根据此链接中的第二张图,看来Google Cloud存储空间可以在大约3秒(并行上传)到6秒(单线程上传)中上传500MB数据:https://cloud.google.com/blog/products/gcp/optimizing-your-cloud-storage-performance-google-cloud-performance-atlas

对于单线程上传,这将转换为500MB * 8位/字节/ 6秒=〜0.7Gbs

但是,我很困惑:如果我的计算机(在这种情况下,是具有16个内核的Google VM)可以达到10GB(持续)到16Gb(峰值)之间的任何值,我可以上传 multiple 文件(例如〜20),并最大程度地使用计算机的带宽(例如,约10至〜16Gbs),那么Google云存储将能够以该速率接收我的数据吗? (为简单起见,我们假设这20个对象的对象名称完全不同,因此我们不会陷入Google建议避免的“名称争用”问题。并且,如果有所作为,则对象blob大小可能会相当大,例如> 1 MB,这样我们就不必考虑传输开销等了。

如果答案是否定的,我猜想Google Cloud Storage(大概还有S3)对单个存储桶的带宽设置了一些最大限制吗?还是至少对源自单个MAC地址的总带宽设置了限制? (如果是这样,如果上传请求来自不同的GCE VM(具有不同的MAC地址和IP等),会发生什么情况?总带宽是否仍会限制在2 Gbs以下?如果确实存在,我们可以采取任何措施来解除此限制。存在吗?)

1 个答案:

答案 0 :(得分:0)

GCS确实有一些API速率限制[12],但最终,如果使用正确的使用模式,GCS可以扩展得非常高。在某个时候,您最终会遇到基础设施的限制,这时您需要与Google的销售团队联系,以计划所需的容量。

但是,这一点远远超出单个VM的能力。您应该能够饱和单个VM网络。