GSUtil cp moethod损坏文件

时间:2014-04-25 13:22:05

标签: google-cloud-storage gsutil

在上周,我注意到使用GSUtils(现在是v3.42)复制的gz文件大约有5-10%已损坏...当我从GCS UI查看文件时,果然他们比GSUtils下载的要大。

(FileNameHere).gz: Unexpected end of archive
(FileNameHere).gz: CRC failed in (FileNameHere). The file is corrupt

用例是将gzip文件从GCS复制到我们的一台Windows Server 2008r2计算机。

还有其他人看过这个问题吗?

2 个答案:

答案 0 :(得分:2)

您能否向我们提供一个具体的例子:完整的桶和&对象名称,下载对象时的具体日期/时间以及使用gsutil下载后文件的大小?这样我们就可以调查并尝试重现你所看到的案例。

如果您不想在StackOverflow上发布特定的存储桶和对象名称,可以通过电子邮件gs-team@google.com私下与GCS团队进行通信

谢谢,

麦克

答案 1 :(得分:0)

此片段与上面的注释一起(重试复制命令直到成功):

#!/bin/sh

export PATH=${PATH}:/cygdrive/c/gsutil
ZIPFOLDER="d:/YourPathHere"
for obj in \
  gs://YourBucketName/YourFileName_01.gz \
  gs://YourBucketName/YourFileName_02.gz \
  gs://YourBucketName/YourFileName_03.gz \
...
  gs://YourBucketName/YourFileName_NN.gz \ ; do
    until gsutil cp $obj "$ZIPFOLDER" ; do :; done
done