下载前用GSUTIL解压缩部分文件

Question

我正在使用gsutil从GCS下载一堆ZIP文件。然后我将它们提取到我的本地驱动器，只保留一些我需要的文件。

gsutil cp gs://uspto-pair/applications/*.zip .    
unzip  -jo  \\*.zip *SRNT.pdf -d ./SRNT_files

这很好但在带宽上似乎很浪费（我扔掉了大部分内容）。

有没有办法在GCS上解压缩文件，然后只下载我需要的部分？

Answer 1

不，云存储没有足够的智能。如果带宽是问题，请从Compute Engine实例执行该操作。下载速度非常快。

您也可以使用App Engine，但内存更受限制，您无权访问文件系统（因此您必须保留在内存中下载的所有内容）。除非你只有小文件（<100MB），否则这并不容易。