使用Google云端硬盘与gsutil

时间:2018-01-05 01:25:40

标签: file-upload google-drive-api google-cloud-storage gsutil

我一直在比较如何将文件上传到云存储,一个是在浏览器中(或模拟浏览器),另一个是通过gsutil命令行到Google云端存储桶。

Google云端硬盘是在后端使用gsutil,还是在上传器中使用完全自定义且专有的软件?有没有办法实现谷歌云存储桶的上传速度,类似于我通过云端硬盘实现的上传速度?如果没有,您建议如何获得与Google云端硬盘相同的上传速度,将文件上传到GCS广告资源?

1 个答案:

答案 0 :(得分:1)

我不确定GDrive在后台使用gsutil。 您可以使用几种优化来提高gsutil速度。

首先,您可以使用perfdiag启动一个小型诊断测试,为您提供概览和可实现的速度。

gsutil perfdiag -o test.json gs://<your bucket name>

其次,您需要了解您的工作量(小/大文件)并确定是否需要区域或多区域存储桶(是的,存在性能差异)tl;博士:

“区域存储桶非常适合数据处理,因为它们的物理距离非常紧凑,写入一致性的开销很低。”

另一方面,“多区域存储保证了2个地理多样化(相距100英里)的重复,这可以获得更好的远程延迟和可用性。 “

有关此主题的云图谱的一些信息,您可以在这里查看:

https://medium.com/google-cloud/google-cloud-storage-what-bucket-class-for-the-best-performance-5c847ac8f9f2

https://medium.com/google-cloud/google-cloud-storage-large-object-upload-speeds-7339751eaa24?source=user_profile---------12----------------

https://medium.com/@duhroach/optimizing-google-cloud-storage-small-file-upload-performance-ad26530201dc

https://medium.com/@duhroach/google-cloud-storage-performance-4cfcec8bad72

https://cloud.google.com/storage/docs/best-practices