如何从Colab笔记本提取Google Cloud Storage存储桶中的tar.gz文件?

时间:2019-08-18 19:30:28

标签: python-3.x google-cloud-platform google-cloud-storage google-colaboratory

正如问题所指出的,我试图弄清楚如何从Google Colab笔记本中提取存储在GCS存储桶中的.tar.gz文件。

我可以通过以下方式连接到我的存储桶:

auth.authenticate_user()
project_id = 'my-project'
!gcloud config set project {project_id}

但是,当我尝试运行以下命令时:

!gsutil tar xvzf my-bucket/compressed-files.tar.gz

我得到一个错误。我知道gsutil的功能可能有限,也许并不意味着要执行我想做的事情,所以有其他方法可以做到吗?

谢谢!

3 个答案:

答案 0 :(得分:3)

Google云存储-GCS本身不支持解压缩tar存档。例如,您将必须自己在本地计算机上或在Compute Engine VM上完成此操作

答案 1 :(得分:0)

这对我有用。我是colab和python本身的新手,所以不确定这是否是解决方案。

!sudo tar -xvf my-bucket / compressed-files.tar.gz

答案 2 :(得分:0)

您可以从模板创建数据流流程以将存储桶中的文件解压缩 该模板称为批量解压缩Cloud Storage文件

您必须指定文件位置,输出位置,故障日志和tmp位置