我有一个项目经常需要将数百万个小(1 - 3 KB)图像文件上传到Google云端存储。推荐的方法/库是做什么的?我目前正在使用gsutil,但想知道是否有更好的库。我最近遇到google-cloud,但似乎更慢(使用blob.upload_from_filename()
)。
我希望能够通过Python(Windows)做到这一点,但如果它们具有显着的性能优势,我愿意接受其他选择。
有什么建议吗?
答案 0 :(得分:1)
很多优化已经进入gsutil,我怀疑使用原始库会更快,而不需要相当大的努力(尽管它可能更适合传输大文件而不是大量文件)。
尝试将-m标志添加到cp命令以多线程上传。 https://cloud.google.com/storage/docs/gsutil/commands/cp
之后,您可以做的唯一事情就是在多台计算机之间进行并行化(每台计算机都会复制一部分文件)。