Question

我在us-central1-a区域的一个实例中工作，我无法复制~200GB文件。

我试过了：

gsutil -m cp -L my.log my.file gs：// my-bucket /
gsutil -m cp -L my.second.log my.file gs：// my-bucket2 /

经过几次＆＃34;赶超＆＃34;我收到以下错误：

CommandException：某些临时组件未成功上载。请重试此上传。 CommandException：无法传输X文件/对象。

任何线索？

由于

Answer 1

如果gsutil parallel composite uploads feature无法上传至少其中一个文件，则会显示此消息。

有几个问题......

在您看到此消息后，您是否已尝试再次执行此上传？
如果此错误仍然存在，请您提供gsutil -d cp...

如果您一直看到此错误并需要立即修复（如果这是并行上传的错误），您可以在您的boto配置的parallel_composite_upload_threshold=0部分设置GSUtil以禁用并行上传。

Answer 2

我在使用gsutil方面有相同的经验。我通过安装crcmod进行了修复。

首先使用调试标志运行您遇到问题的命令，例如：

gsutil -d -m cp gs://<path_to_file_in_bucket>

在输出中，我可以看到：

CommandException: Downloading this composite object requires integrity checking with CRC32c, but your crcmod installation isn't using the module's C extension, so the hash computation will likely throttle download performance. For help installing the extension, please see "gsutil help crcmod".

To download regardless of crcmod performance or to skip slow integrity checks, see the "check_hashes" option in your boto config file.

NOTE: It is strongly recommended that you not disable integrity checks. Doing so could allow data corruption to go undetected during uploading/downloading.

您可以按照Google的说明为您的特定操作系统安装crcmod：https://cloud.google.com/storage/docs/gsutil/addlhelp/CRC32CandInstallingcrcmod

gsutil复制到存储失败

2 个答案: