gsutil cp命令的性能下降了

时间:2017-03-02 18:20:19

标签: google-cloud-storage

我们发现用于将单个文件复制到谷歌存储的 gsutil cp 命令更好,因为很少有这样的流程可以将不同的单个文件复制到谷歌存储上的不同位置。那时的正常速度是~50mbps。但随着“gsutil cp”将单个文件复制到谷歌存储的过程有所增加,这些天的平均速度已降至~10mbps。

我认为“gsutil -m cp”命令不会改善性能,因为只有1个文件需要复制。

复制许多单个文件的gsutil cp进程数量增加可归因于这种低速度。我们可以做些什么来提高这些过程的速度

1 个答案:

答案 0 :(得分:1)

gsutil可以并行上传单个大文件。它是通过将文件的一部分作为单独的对象上传到GCS中,然后要求GCS将它们组合在一起然后删除各个子对象来实现的。

N.B。因为这涉及上传对象然后几乎立即删除它们,所以不应该在Nearline存储桶上执行此操作,因为删除最近上传的对象需要额外收费。

您可以设置文件大小,gsutil将使用此行为。试试这个:

gsutil -o GSUtil:parallel_composite_upload_threshold=100M cp bigfile gs://your-bucket

此处提供了有关此功能的更多文档:https://cloud.google.com/storage/docs/gsutil/commands/cp#parallel-composite-uploads