启用“切片下载”后，gsutil性能降低了

Question

我正在尝试从GCS下载2G tarball到在集群中运行的docker容器中

禁用“切片下载”时，我能够获得10M-15M / s的下载速度，但是当启用“切片下载”时，下载速度降至6M / s，这可能是什么原因？在这种情况下，我将parallel_thread_count和parallel_process_count设置为2。我已经尝试了parallel_thread_count和parallel_process_count的其他值，与单线程模式相比，它只会导致性能下降。

Answer 1

取决于这是Windows实例还是Linux实例，正在运行的Docker容器存在CPU限制，因此可以通过增加CPU来提高性能。但是请注意，gsutil会根据网络上限限制连接速度。

您可以像这样分割片段以实现best performance：

$ gsutil -o'GSUtil：parallel_thread_count = 1'-o'GSUtil：sliced_object_download_max_components = 8'cp gs：//bukket/fileSRC.dat ./localDST.bin

到目前为止，gsutil存在一个已知问题，即它无法在Windows实例上执行切片的对象下载。有一个开放的Issue Tracker。