通过Python将许多小文件上传到Google云端存储的推荐方法

时间:2017-07-21 16:14:07

标签: google-cloud-storage google-cloud-python

我有一个项目经常需要将数百万个小(1 - 3 KB)图像文件上传到Google云端存储。推荐的方法/库是做什么的?我目前正在使用gsutil,但想知道是否有更好的库。我最近遇到google-cloud,但似乎更慢(使用blob.upload_from_filename())。

我希望能够通过Python(Windows)做到这一点,但如果它们具有显着的性能优势,我愿意接受其他选择。

有什么建议吗?

1 个答案:

答案 0 :(得分:1)

很多优化已经进入gsutil,我怀疑使用原始库会更快,而不需要相当大的努力(尽管它可能更适合传输大文件而不是大量文件)。

尝试将-m标志添加到cp命令以多线程上传。 https://cloud.google.com/storage/docs/gsutil/commands/cp

之后,您可以做的唯一事情就是在多台计算机之间进行并行化(每台计算机都会复制一部分文件)。