我想将大型数据集从URL“ https”直接下载到Google云存储(存储桶)。
我使用了gsutil stream命令。通过Google Cloud Shell
curl -L https://../../..velodyne.zip | gsutil cp-gs://###/##/velodyne.zip
结果是
我们在您的Google Cloud Shell会话中检测到过多的出口网络流量。停止或减少流量,否则您的会话将被终止。
答案 0 :(得分:1)
这是因为您要使用curl
下载到本地环境(云外壳),然后发送到GCS。
执行此操作的方法是使用Storage Transfer Service。
有一种向传输服务提供URL list的选项,该服务本身会将所有数据下载到存储桶中。
答案 1 :(得分:0)
它将从本地计算机下载文件,然后将其用作gsutil命令的输入。您将无法使用Cloud Shell进行操作,如果文件太大,您可能会遇到“设备上没有剩余空间”的字样。
您在对Jofre的帖子的评论中还提到您已经尝试了Storage Transfer Service,但失败了。请分享错误,以便我们查看失败原因,然后也许我们可以为您提供帮助。