在GCS上解压缩gzip压缩文件的最有效方法是什么？

Question

我们的gcs上有很多gzip压缩文件。为了加快数据流作业，我们希望对文件进行解压缩，数据流TextIO与压缩文件的速度并不快。

我正在试图找出在gcs上制作解压缩文件的最有效方法。

首先，我想我会开始编写一个简单的下载程序，但是我无法获得与gsutil相同的性能。

如此接受这个问题的答案将是如何从gcs制作超级，希望简单的文件下载，或者如何在gcs上即时复制和解压缩的示例。

Answer 1

您可以实现从GCS处理object change notifications的App Engine或Compute Engine应用程序，以便发现新上传的gzip文件并将相应的解压缩文件读/写到GCS中。这可能比下载到您的公司网络并重新上传更快（取决于您的Internet连接速度）。