直接从url将大数据下载到Google Cloud Storage Bucket

时间:2019-05-27 09:11:09

标签: google-cloud-platform google-cloud-storage bucket

我想将大型数据集从URL“ https”直接下载到Google云存储(存储桶)。

我使用了gsutil stream命令。通过Google Cloud Shell

  

curl -L https://../../..velodyne.zip | gsutil cp-gs://###/##/velodyne.zip

结果是

  

我们在您的Google Cloud Shell会话中检测到过多的出口网络流量。停止或减少流量,否则您的会话将被终止。

2 个答案:

答案 0 :(得分:1)

这是因为您要使用curl下载到本地环境(云外壳),然后发送到GCS。

执行此操作的方法是使用Storage Transfer Service

有一种向传输服务提供URL list的选项,该服务本身会将所有数据下载到存储桶中。

答案 1 :(得分:0)

  1. 在您的本地计算机上安装SDK
  2. 然后从那里运行命令

它将从本地计算机下载文件,然后将其用作gsutil命令的输入。您将无法使用Cloud Shell进行操作,如果文件太大,您可能会遇到“设备上没有剩余空间”的字样。

您在对Jofre的帖子的评论中还提到您已经尝试了Storage Transfer Service,但失败了。请分享错误,以便我们查看失败原因,然后也许我们可以为您提供帮助。