是否有人对将单个只读磁盘附加到多个Google Compute Engine实例(即只读模式下的相同磁盘)的性能进行了基准测试?
Google文档(https://cloud.google.com/compute/docs/disks/persistent-disks#use_multi_instances)表示可以将多个实例附加到同一个磁盘,并且个人经验表明它可以在小规模(5到10个实例)中工作,但很快我们就会在500多台机器上运行工作(GCE实例)。我们想知道随着并行附件数量的增长以及这些附件的带宽增长,性能如何扩展。我们目前从Google云存储桶中提取大量数据(只读),并且想知道切换到标准持久磁盘配置的优点。这涉及太字节的数据,所以我们不想改变方向,不知不觉。
一个重要的考虑因素:500多台计算机上的每台计算机上的代码可能会同时尝试访问同一个文件(400MB)。在这种情况下,水桶和附加驱动器如何比较?也许答案是显而易见的 - 而且我们自己也不必设置一个严格的基准测试系统(500台机器)。谢谢。
答案 0 :(得分:1)
GCE上的永久磁盘应具有一致的性能。目前,对于标准永久磁盘,每100GB卷大小为12MB / s和30IOPS:
https://cloud.google.com/compute/docs/disks/persistent-disks#pdperformance
在多个实例上使用它不应该改变磁盘的整体性能。但是,由于您不必担心使用实例的最大读取速度,因此可以更轻松地使用这些限制。但是,一次多次访问相同的数据可能会。我知道永久磁盘或GCS如何处理争用。
如果只有一个400MB的文件存在争议,那么仅使用最快的方法对其进行单独交付是有意义的。一种可能的解决方案是复制您的关键文件,并随机选择您访问的文件。这应该导致较少的节点争用每个文件。
复制关键文件意味着更大的磁盘,因此也有助于提高IO性能。如果您已经打算增加卷大小以获得更好的性能,则副本是免费的。